Nat Neurosci:科学家成功利用深度神经网络来预测人类机体大脑是如何处理加工自然声音的 |
![]() |
来源:100医药网原创 2023-04-13 10:45
来自法国国家科学研究中心等机构的科学家们通过研究尝试利用计算模型来预测人类大脑是如何将声音转化成为周围环境中所发生的事情的语义表征的。近年来,机器学习技术加速并创新了包括神经科学在内的众多领域的研究,通过识别实验数据中的模式,这些模型或许就能帮助预测与特定经历或感官刺激处理相关的机体神经过程。近日,一篇发表在国际杂志Nature Neuroscience上题为 Intermediate acoustic-to-semantic representations link behavioral and neural responses to natural sounds 的研究报告中,来自法国国家科学研究中心等机构的科学家们通过研究尝试利用计算模型来预测人类大脑是如何将声音转化成为周围环境中所发生的事情的语义表征的;一些基于深度神经网络(DNN, deep neural network)的模型或许就能更好地预测来自神经成像和实验数据的神经过程。
研究者Bruno Giordano说道,我们的主要兴趣就是对自然声音是如何在大脑中被感知和表现进行数值预测,而且利用计算模型来理解如何将所听到的声音转化为听觉环境中物体和事件的语义表征;而目前在这方面所面临的一个大的障碍并不是缺乏计算模型(新的模型会定期被发表),而是缺少对其所解释的行为或神经成像数据能力的系统性比较。于是研究人员的关键目标就是系统性地比较不同计算模型在预测自然声音的神经表征方面的表现,在实验中,研究人员评估了三类计算模型、即声学、语义和声音到事件的DNN。
研究者指出,在COVID流行的头几个月,我们开始讨论了需要对计算模型进行系统性地比较,而经过几次远程头脑风暴会议后,研究人员意识到他们已经获得了回答问题所需要的数据:在2009年所收集的行为数据库中有20名加拿大参与者,其评估了一组80个自然声音的感知差异;2016年收集的fMRI数据库中有5名荷兰参与者,其听到了一组不同的288个自然声音,同时研究人员还记录了其机体fMRI的反应。在不需要在实验室中收集新数据的情况下,研究人员开始着手利用在此前实验中所收集的数据来测试三种计算模型方法的性能和表现;具体而言,他们将呈递给人类参与者的声音刺激投射到了不同的计算模型中,随后测定其能预测参与者对刺激所产生的反应以及在大脑中所发生事情的程度。
科学家成功利用深度神经网络来预测人类机体大脑是如何处理加工自然声音的。
图片来源:Nature Neuroscience (2023). DOI:10.1038/s41593-023-01285-9
研究者Giordano表示,我们被谷歌公司所开发的声音到事件DNNs优于竞争性的声学和语义模型的程度所震惊;同时我们也能很好地预测行为和fMRI数据以便将声音投射到DNNs上,这样研究人员就能从2016年荷兰参与者的fMRI反应来预测2009年加拿大参与者机体的行为,即使其所听到的声音完全不同。研究者发现,基于DNN的模型能大大超过基于声学的计算方法和将声音归入不同类别(比如声音、街道上的声音等等)从而反映大脑反应的技术,与这些更为传统的计算方法相比,DNNs能以更高的准确率来预测神经活动和参与者的行为。
根据研究人员的观察以及基于DNN模型所产生的输出数据,研究人员还推测,人类大脑对声音的理解方式与其处理单词的方式相类似,尽管单词的意义是通过处理单个字母、声音和音节来进行推断的,然而,声音的意义则可能是通过结合一组不同的基本单元来进行提取的。目前研究人员正在收集新的神经神经成像数据来测试研究人员在研究中所提出的关于这些基本单元可能是什么的具体假设,他们正在训练新型以及更像大脑的神经网络从而进行自然的声音处理;比如,研究者Michele Esposito就开发出了一种特殊的神经网络,其能学习语言声音描述符的数字表示(语义嵌入),而并不是声音事件类别,该网络酱紫啊2023年的国际声学、语言和信号处理(ICASSP)大会上进行展示,其在预测自然和声音感知方面要优于谷歌公司的网络。
综上,本文研究结果表明,大脑的颞上回(STG)需要从声学到语义的中间声音表征,这些表征既不是声学模型也并不是语义模型所能解释的,而且这些表征在本质上具有一定的构成性,与行为无关。(100yiyao.com)
原始出处:
Giordano, B.L., Esposito, M., Valente, G.et al..Nat Neurosci26, 664 672 (2023). doi:10.1038/s41593-023-01285-9
版权声明 本网站所有注明“来源:100医药网”或“来源:bioon”的文字、图片和音视频资料,版权均属于100医药网网站所有。非经授权,任何媒体、网站或个人不得转载,否则将追究法律责任。取得书面授权转载时,须注明“来源:100医药网”。其它来源的文章系转载文章,本网所有转载文章系出于传递更多信息之目的,转载内容不代表本站立场。不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。 87%用户都在用100医药网APP 随时阅读、评论、分享交流 请扫描二维码下载->

- 相关报道
-
- 百奥赛图与百济神州达成抗体分子许可协议,加速创新药物开发 (2025-07-10)
- Nature Biotechnology:基因编辑的“瑞士军刀”!16种序列特异性编辑器诞生,实现对DNA的“按需编程” (2025-07-10)
- STTT:膳食脂肪酸调教T细胞!港大团队发现,棕榈酸会削弱γδ-T细胞的抗肿瘤作用,而油酸可逆转 (2025-07-10)
- 《神经病学》:重大人生打击,与阿尔茨海默病相关病理发展和大脑结构的变化有关! (2025-07-10)
- J Hematol Oncol:突破T细胞白血病治疗瓶颈——双靶点CAR-T细胞有望带来新希望 (2025-07-09)
- 《自然·医学》:世卫组织最新预警!全球08-17年出生的人,或有1560万会患胃癌,76%归因与幽门螺杆菌感染,2/3发生在亚洲 (2025-07-09)
- 精鼎医药宣布两位 FDA 权威专家加入我司咨询团队,进一步增强监管事务、医学及 AI 领域专业实力 (2025-07-08)
- Mater Today Bio:干细胞球联手纳米颗粒水凝胶精准改善糖尿病创面环境,加速伤口愈合新突破 (2025-07-08)
- J Anim Sci Biotechnol研究揭秘美味密码:益生菌联手重塑肠道菌群,经肠-肌轴提升猪肉鲜味与品质 (2025-07-08)
- Science:告别序列依赖,为你的染色体“扫码”——每条染色体竟自带独一无二的“条形码 (2025-07-07)
- 视频新闻
-
- 图片新闻
-
医药网免责声明:
- 本公司对医药网上刊登之所有信息不声明或保证其内容之正确性或可靠性;您于此接受并承认信赖任何信息所生之风险应自行承担。本公司,有权但无此义务,改善或更正所刊登信息任何部分之错误或疏失。
- 凡本网注明"来源:XXX(非医药网)"的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。本网转载其他媒体之稿件,意在为公众提供免费服务。如稿件版权单位或个人不想在本网发布,可与本网联系,本网视情况可立即将其撤除。联系QQ:896150040