中国科学技术⼤学陈勋教授为我系开展线上学术报告

       当下,脑电信号(EEG signal)在临床医学诊断、⼈际交互、认知科学等众多研究领域已经得到了⼴泛的应⽤,但由于脑电信号⼗分微弱,很容易受到各种噪声(如眼电、⼼电、肌电、运动伪迹等)的⼲扰,因而对其降噪就格外重要。受南⽅科技⼤学⽣物医学⼯程系刘泉影助理教授邀请,来⾃中国科学技术⼤学的陈勋教授于2020年5⽉29⽇晚,在腾讯会议平台以专业的知识和⽣动的例⼦从4个层次介绍了受肌电信号污染的脑电信号降噪问题:简要理论基础(如独⽴成分分析、联合盲源分离等)、动机、在该⽅向上的若⼲新探索、总结与挑战。

 

一、内容简介

       盲源分离(Blind Source Separation, BSS)[1,2]是脑电降噪领域非常“有价值且有效的⽅法”。在盲源分离应用于脑电去噪之前,对于脑电信号的降噪主要使⽤的是基于滤波器或者回归思想的⽅法。但是这些传统⽅法都或多或少存在⼀些难以回避的问题,⽐如需要测量各噪声通道来得到参考信号等。与之相⽐,盲源分离⽅法的优势在于其只需要测量信号⽽不需要参考信号,即能通过统计上的推断将噪声信号分离出来。

图1.鸡尾酒舞会问题(Cocktail Party Problem)示意图

 

       如上图1所示,盲源分离技术源于鸡尾酒舞会问题(Cocktail Party Problem)。即有 N个⼈同时在⼀个舞会⾥聊天(即图中S, sources),同时有在舞会的周围布置有N⽀⻨克⻛,这些⻨克⻛也都同时在不同的⻆度记录了舞会中所有⼈声⾳混合之后的信号(即图中 X, observations)。针对这个问题,盲源分离技术要实现的就是在没有额外信息的基础上,将N个⼈的声⾳独⽴地分离出来。该技术的实现原理是统计独⽴性。例如上述问题中的N个⼈产⽣的N个声⾳信号⼀般在分布、(⾼阶)统计特性上是不同的,即是独⽴的。但要注意的⼀点是,恢复后的信号(recovered sources)⼀般模式相同,但顺序、幅值会发⽣变化,这是因为混合矩阵A是未知的。我们可以⽤图2所示“公式”X=AS来表示这⼀关系,其中矩阵X, A, S与在 上述问题中的意义相同。

图2.盲源分离(Blind Source Separation, BSS)的公式表示

 

       对于脑电信号和其中各种噪声分离的实现中使⽤盲源分离技术的思路由图3所示。

图3. 盲源分离技术在脑电及噪声信号分离中的应⽤思路

 

       之后,陈教授借由对帕⾦森病⼈的脑⽹络分析项⽬介绍,进⼀步引出了联合盲源分离(Joint Blind Source Separation, JBSS)技术[3]。在这个项⽬中使⽤联合盲源分离的技术主要是为了实现对多个数据集同时进⾏盲源分离,并提取出其中具有共性的特征或模式。

       如图4所示,盲源分离技术只能够实现在⼀个数据集中提取出多个不相关(或独⽴)的数据组,⽽使⽤联合盲源分离技术则在单个数据集中实现提取多个不相关(或独⽴)数据组的前提下,横向保证了不同数据集内对应类型的数据组(即图中深浅不⼀但颜⾊相近的⽅块)是相关联的。 

       图5则展示了在多个通道的脑电信号处理中应⽤联合盲源分离技术之后的效果,其中前3⾏信号均具有相同的模式(例如第1⾏代表了脑电信号,第2⾏代表了⼼电信号等),第4⾏则是各个通道⾃有的特殊的模式。使⽤联合盲源分离技术的意义在于,可以代替⼈⼯“对⻬”各个通道分离之后信号的⼯作,特别是在通道数较多时更有其优势。同时,因为联合盲源分离考虑了“相同意义”数据组的相关性,所以对单通道的盲源分离也会因此有更⾼的准确度(即其增加了⼀个维度的信息,使得分解更为有效)。

图4. 盲源分离与联合盲源分离对⽐模式图

图5.联合盲源分离技术在对多通道脑电信号分解时的例⼦

 

二、研究动机

       陈教授简要介绍了联合盲源分离技术在两类问题中的应⽤:

1. 在多模态(Multimodality)分析中的应⽤;

2. 在组分析(Group Analysis)中的应⽤。

       在图6所示的多模态分析任务中, 医⽣可能已经测得了病⼈的sMRI、fMRI、SNP等信息,便可以使⽤联合盲源分析技术对这些模态之间的关联进⾏分析。例如,可以通过该⼿段分析出精神分裂症患者的脑部在结构上有哪些缺陷,因此导致了怎样的功能上的失常,同时这样的结构缺陷⼜是由哪些基因位点所控制的。

图6. 联合盲源分离技术在多模态分析中的应⽤举例

 

       同时,在下图7所示的组分析任务中,我们已知同⼀种疾病在不同⼈群中表现的形式和症状可能是“相似⽽⼜不同”的,即其存在共性⼜在个体间存在独特性。因此,在医学上对于个体的分析有时候可能并没有太⼤的意义,此时便需要进⾏组分析,以得到群体⽔平上相同或相似的⼀些特征。

       接着,陈教授就联合盲源分离的⽬标函数(Objective Functions)做了⼀定的阐述和分析。例如在图8中展示的IC-PLS or Parallel ICA模型(⼀种独⽴和相关同时优化的模型)的公式中,我们的⽬标便在于使得数据集之间是有关联的,同时各个数据集内数据组是相互独⽴的,其中权重w是可调的以使其能够优化。基于此可以推导出适⽤于多模态分析和组分析的变形。

图7. 联合盲源分离技术在组分析中的应⽤举例

图8. IC-PLS 或 Parallel ICA模型的⽬标函数

 

三、近期进展

       在这一部分中,陈教授先介绍了目前同样广泛运用的一种盲源分离方法:典型相关分析(Canonical Correlation Analysis,CCA),接着介绍了他近年在脑电信号去噪方面研究的一些进展,从独立向量分析开始,再到单通道分析和少通道分析,之后再将这两个方法运用到多通道分析。

       多通道的盲源分离方法除了ICA以外还有典型相关分析(Canonical Correlation Analysis, CCA),不同于ICA假设不同来源的信号相独立,CCA通过利用脑电的自相关系数比肌电大这一特性将脑电与肌电分开。仿真结果显示(下图9) CCA相对ICA及其他滤波器效果更好[4]。

图9. CCA去噪仿真结果

 

       ICA虽然已经可以较好地完成脑电的去噪任务但在处理复杂肌电噪声的时候面临一些问题。陈教授也着眼于ICA的改进,通过保留ICA的独立性并且借鉴了CCA的自相关性,构建了一个联合盲源分离方法(下图11):独立向量分析(Independent Vector Analysis, IVA) , 该方法通过对数据进行k次延时获得k个数据集,以利用数据集之间的依赖信息使数据集之间的对应源相互依赖(CCA),而在每个数据集中利用信息论的相关准则(下图10)把源分解为相互独立的部分(ICA)[5]。

图10. 互信息

图11. IVA方法模式图

图12. 肌电噪声信号模拟

 

       在验证IVA的去噪能力时,陈教授混合四种不同的肌电信号(上图12)并与干净的脑电信号叠加,以定量分析算法的去噪能力,最后发现无论是频域还是时域的,以及相关性上,IVA都优于CCA和ICA,尤其是在污染严重的情况下,见下图13。

图13. IVA去噪仿真结果

 

       接下来陈教授尝试使用IVA算法对癫痫患者的脑电信号进行了降噪,该信号被肌电严重干扰,但是IVA算法也取得了很好的效果(图14)从图中可以看出IVA相比ICA和CCA既在高频段有效压制高频肌电信号,又没有在低频段(即有效脑电信号波段)破坏脑电信号。

图14. 癫痫信号降噪频率图

 

       随着科技的不断发展,医疗系统有着从传统的以医院为中心向以手机为基础的方向发展的趋势。在这样的一个趋势下,脑电采集设备的体积也越来越小,甚至有些设备只有一个通道,而此时传统的多通道方法无法应用,那该如何只从一个通道去除噪声信号呢?

图15. 单通道降噪架构图

 

       陈教授设计了一个构架(图15),先将单通道通过小波变换、经验模式分解(Empirical Mode Decomposition, EMD)、奇异谱分解等方式将其分解为多通道信号,再采用BSS方法对其进行降噪后进行重建。通过仿真实验(图16),我们可以看到虽然在污染较为严重的地方不是特别完美,但也有着不错的效果[6]。

图16. 单通道降噪仿真结果

 

       接下来陈教授又研究了单通道联合盲信号分离时,延时的次数(也就是数据集个数)与降噪性能的关系。虽然理论上延时的次数越多降噪的效果越好,但研究发现:当延时次数为三次或者三次以上(也就是有三个或三个以上的数据集)时,性能就比较稳定了(图17)。

图17. 延时次数与降噪能力的关系

 

       既然已经做出来了单通道降噪方法,那将它引入多通道降噪会不会让产生比传统的多通道降噪更好的效果呢?

       理论上多通道包含着更多的信息,也意味着具有更好的去噪效果。这种猜想对EOG、ECG和运动伪迹可能是对的,它们的模式相对简单。 然而,考虑到肌肉伪迹噪声源比较多的特点,脑电图通道的增加很可能意味着肌电来源的复杂性也增加了。在这种情况下,多通道技术可能会失去其固有的优势。在进行仿真后发现单通道降噪(EEMD-CCA)相比多通道降噪(CCA)确实有更好的效果(下图18)[7]。

图18. EEMD-CCA与CCA的降噪能力仿真检验

图19. 适用于不同通道数的统一降噪架构

 

       因为单通道降噪相对多通道降噪有着更好的效果,陈教授以此为基础设计了一种统一的架构(EEMD-CCA)(上图19),无论是单通道、多通道还是少通道,都能进行降噪处理并取得不错的效果。通过定量分析(下图20)我们可以看出该架构相对于传统的ICA和CCA在19通道、9通道、5通道时都能取得更好的效果 [8]。

图20.适用于不同通道数的统一降噪架构降噪模拟结果

图21. MEMD-CCA架构

 

       未来多数商业化的便携式脑电图设备可能都是少量通道设计,如2至8通道。此时如果单纯使用多通道BSS方法性能会比较有限。单通道方法也可以以逐通道的方式应用,但是没有考虑到通道间的相关性。陈教授针对这一需求设计出了一种基于多通道EMD(MEMD)和CCA的新架构(上图21),相比于之前通过EEMD对每一个通道单独分解,MEMD将所有通道一起分解,利用不同通道相同的频率成分,分解更为精确。 在定量测试中,无论是全仿真(simulated)还是半仿真(Semi- simulated),MEMD-CCA相对于其他分解方法都能取得更好的效果(下图22)(详细信息见陈教授的论文[9])。

图22. MEMD-CCA仿真结果

 

       接下来陈教授又将少通道的降噪方法用于多通道去噪,将空间上相近的几个通道划为一组,充分利用近邻直接的相关性,对每一组使用MEMD进行联合分解,最终通过仿真验证(下图23)证明了MEMD-CCA相对于CCA有着更好的效果[10]。

图23. MEMD-CCA用于多通道降噪仿真结果

 

       陈教授的降噪架构也在实际运用中获得了良好的效果。Prof. Daniel Ferris采用了EEMD-CCA方法作为重要的工具,从高密度脑电图记录中去除重肌电噪声,从而找到平衡学习背后的潜在机制。Prof. Jung的小组在他们的少通道移动BCI系统中采用了MEMD-CCA方法来去除肌肉活动,提高了分类的准确性。

 

       本次讲座,陈教授在Joint BSS的基础上,探讨了多通道、单通道和少通道三种通道构型以及它们之间的关系。

       在不同的应用中,肌肉伪影可能有非常不同的特征,例如在睡眠、脑磁刺激、电刺激、癫痫、脑电图-功能磁共振成像中,肌肉源数量、污染程度、可用信道数、时间样本数量、放电的肌组织都不一样,而相应降噪方法都会有所差别,需要研究者结合不同的引用来设计不同的方法。陈教授建议大家如果想要在这方面更进一步的话可以从降噪的深度(开发新方法,如欠定、动态、非线性)和广度(探索一种混合的、循序渐进的方式来结合多种方法的优点)入手。

       陈教授也在2019年写了一篇Review(Removal of Muscle Artifacts From the EEG: A Review and Recommendations [11]),包含了近几年脑电中肌电的降噪工作。

       本文的最后,陈教授送给各位研究者的降噪大礼包,因为在不同应用条件下噪声的情况是多种多样的,没有一种方法能适合所有情况,陈教授开发了一个免费的工具箱(ReMAE),鼓励脑电图研究人员和临床工作人员广泛研究各种应用中的各种方法。(下图24)。

图24. ReMAE工具箱

 

 

如何下载降噪工具包?

请访问链接:  http://staff.ustc.edu.cn/~xunchen/resource.htm

       要获得工具箱包,请下载网站内的许可协议。将其打印、签署、扫描并通过电子邮件发送至xunchen@ustc.edu.cn,邮件主题为“ReMAE使用请求”。请使用您所在机构的电子邮件发送申请,并在电子邮件中说明您的职位、您所在的机构以及研究目的。收到后,下载工具箱的链接会被发送到您的机构电子邮件。

 

 

参考文献:

1. Martin J. Mckeown, Scott Makeig, Greg G. Brown, et al. Analysis of FMRI Data by Blind Separation into Independent Spatial Components[J]. Human Brain Mapping, 1998, 6(3):160-188.

2. Jung T P , Makeig S , Humphries C , et al. Removing electroencephalographic artifacts by blind source separation[J]. psychophysiology, 2000, 37(2):163-178.

3. Chen X , Wang Z J , Mckeown M J . A Three-Step Multimodal Analysis Framework for Modeling Corticomuscular Activity With Application to Parkinson’s Disease[J]. IEEE Journal of Biomedical & Health Informatics, 2014, 18(4):1232-1241. Clercq W D , Vergult A , Vanrumste B , et al. Canonical Correlation Analysis Applied to Remove Muscle Artifacts From the Electroencephalogram[J]. IEEE Transactions on Biomedical Engineering, 2006, 53(12):2583-2587.

4. Chen X, Peng H, Yu F, et al. Independent Vector Analysis Applied to Remove Muscle Artifacts in EEG Data[J]. IEEE Transactions on Instrumentation and Measurement, 2017:1-10.

5. Chen X, Liu A, Peng H, et al. A Preliminary Study of Muscular Artifact Cancellation in Single-Channel EEG[J]. Sensors, 2014, 14(10):18370-18389.

6. Chen X, Liu A, Chiang J, et al. Removing Muscle Artifacts From EEG Data: Multichannel or Single-Channel Techniques?[J]. IEEE Sensors Journal, 2016, 16(7):1986-1997.

7. Chen X, Chen Q, Zhang Y, et al. A Novel EEMD-CCA Approach to Removing Muscle Artifacts for Pervasive EEG[J]. IEEE Sensors Journal, 2018:1-1.

8. Chen X, Xu X, Liu A, et al. The Use of Multivariate EMD and CCA for Denoising Muscle Artifacts From Few-Channel EEG Recordings[J]. IEEE Transactions on Instrumentation and Measurement, 2018, 67(2):359-370.

9. Xu X, Liu A, Chen X. A novel few-channel strategy for removing muscle artifacts from multichannel EEG data[C]// IEEE Global Conference on Signal & Information Processing. IEEE, 2017.

10. Chen X, Xu X, Liu A, et al. Removal of Muscle Artifacts From the EEG: A Review and Recommendations[J]. IEEE sensors journal, 2019, 19(14):5353-5368.

11. Chen X, Xu X, Liu A, et al. Removal of Muscle Artifacts From the EEG: A Review and Recommendations[J]. IEEE sensors journal, 2019, 19(14):5353-5368.

 

文中所有图片均来自陈勋教授网上讲座的屏幕截图。

 

 

本文作者:NCC lab李哲汭,张皓铭

南科大张明明课题组在柔性康复外骨骼按需辅助策略方向取得研究进展

       南方科技大学生物医学工程系张明明助理教授研究团队2019级博士研究生钟斌在机器人工程领域旗舰期刊IEEE Transactions on Automation Science and Engineering(IF=5.293)上发表最新研究成果,该研究提出了一种基于滑模控制策略的下肢外骨骼关节位置及柔性同步控制算法,适用于人造气动肌肉驱动的康复设备,实现了按需辅助的柔顺控制提升了康复的效果。

       按需辅助策略能够显著提升患者在机器人辅助康复过程的积极性从而提升康复效果,同时人机交互的安全性是所有康复设备的首要考虑因素。人造气动肌肉其独特的柔性使得它可以作为康复设备驱动器的良好选择,而气动肌肉自身固有的非线性特点也使得构建精确的数学模型极具挑战。该研究提出了一种采用人造肌肉的平均压力作为反馈来评估患者的实时参与程度,并同步实现关节位置控制和关节柔性控制。关节的柔性及辅助力大小通过反馈评估进行实时调节,最终实现按需辅助的康复策略。验证实验一共12受试者参加,实验结果表明,系统在该算法下能够以较小的误差跟随下肢关节的运动,同时评估受试者的参与程度进行辅助力调节。该研究结果对人造气动肌肉在康复设备中的广泛应用具有重要意义。

       The comparison between the desired and actual gait trajectories of the two actuated joints during the validation experiments. The trajectories have been normalized to one gait cycle. The red lines are the predefined reference gait trajectory. The blue lines represent the average gait trajectories over the experimental period. The shaded area stands for the standard deviations of the average trajectories over the recorded gait cycles. Subplots (a, c, e, g) are the trajectories of the knee joint and subplots (b, d, f, h) are for the hip joint. The subplots in the top, second, third and bottom rows are for experiments with desired average antagonistic PM pressures 160, 240, 320 and 400 KPa respectively.

 

       南科大2019级博士生钟斌为本文第一作者,张明明助理教授为通讯作者,南科大为第一单位和通讯单位。该研究获得了国家自然科学基金、广东省自然基金和广东省普通高校青年创新人才项目的资助。

 

供稿:钟斌

南方科技大学生物医学工程系内部审计进点会议顺利举行

       2020年5月22日上午9:00南方科技大学生物医学工程系内部审计进点会议在台州楼323会议室顺利举行,会议由纪检监察室(审计法务室)张永宁副主任主持,纪检监察室(审计法务室)主任潘景辉、成员管馨、审计组成员(深圳正先会计师事务所)项目负责人于莉、黄子玥、赖丽蓉、生物医学工程系系主任蒋兴宇及多名生物医学工程系职工代表出席会议。

       潘永辉主任表示,内部审计进点工作是学校每年例行的一个工作,同时也是一个学校各单位之间学习交流的机会。今年我校需要接受审计的单位共有十三个,希望大家能积极配合,加强协调,按要求完成审计工作。今年也是我校建校第十周年,我校自建校以来一直处于蓬勃发展中,当然还有很多需要建立健全制度体系发展的地方,通过内部审计工作,我们从客观事实的角度去发现问题并解决问题,形成良性的工作机制,希望接受审计的单位一定要跟纪检监察室和事务所的同事加强沟通,认真核实每一项需要接受审计的事项,共同推进学校审计工作进展。

       张永宁副主任对审计内容和具体事项进行了简要说明,介绍了在接下来的现场审记工作中将主要核查到院系近年来的的财务收支情况,涉及预算、收支、资产、采购、合同、劳务费、科研经费和基建工程相关等多项事务,并出具详细审计报告,院系层面要协助做到各方面细节表述准确清晰,并根据审计报告积极进行问题整改。

       系主任蒋兴宇老师对我系基本情况作了简要介绍,并表示,使用纳税人的钱进行教学科研工作并接受审计是我们应尽的职责和义务,我们全系职工一定会全力配合,感谢审计部门帮我们一起发现问题、解决问题。审计工作的进行是为了今后进一步规范合理使用经费,同时内部审计也是一个帮助我们教职工学习和了解国家经费财务制度管理的一个很好的机会。在接下来的工作中我们一定多和审计组的同事们多请教多沟通。

       据悉,根据《审计署关于内部审计工作的规定》第十二条及学校年度审计工作计划,我校纪检监察室(审计法务室)委托深圳正先会计自2020年5月18日起对我系2017-2019年度财务收支及内部控制情况进行审计。

 

供稿:张艺真

清华大学计算机系胡晓林副教授受邀开展线上讲座

       受南方科技大学生物医学工程系刘泉影助理教授邀请,来自清华大学计算机系胡晓林副教授(http://www.xlhu.cn/)于腾讯会议平台在线讲座,通过深度学习模型对脑的视听觉环路建立计算模型这两个案例,阐释了:1)利用层次化结构的深度学习计算模型能够很好地展现视觉、听觉的高层皮层神经元的功能特点,2)神经元的稀疏发放与神经元表征的分层特异性密不可分。同时,本讲座还回顾了脑智能(Brain Intelligence)和 人工智能(Artificial intelligence)之间是如何相互促进发展的。

 

一、脑智能(BI)和人工智能(AI)

       不管是Werbos 和 Rumelhrat 等人,在80年代从McCulloch, Pitts和Rosennblatt等人的基础上提出的多层感知机和反向传播算法(Back-Propogation, BP),还是LeCun在1989年基于Fukushima和Wiesel的工作,结合BP提出的卷积神经网络(CNN),都离不开脑科学的指引。因为在1943年McCulloch 和Pitts提出阈值逻辑单元;Wiesel 等人在50年代末,在猫上做的一个实验,发现了简单细胞和复杂细胞,随后Fukushima在这个发现基础上提出了认知机(Neocognitron),最先出发点都是为了揭示大脑的工作原理。后来发现这些模型在工程上有很重要的应用价值,所以人工智能的发展是和脑科学有密切相关的(见图1)。

图1:脑智能与人工智能双线发展历程

 

二、从深度学习的角度看大脑

       视听觉系统的结构都是层级化的结构,这个和深度学习计算模型的结构是一致的(见图2)。虽然两者之间有一些显著的差别(例如在视觉系统广泛存在反馈(Feedback)和循环(Recurrent)的机制,在深度学习计算模型尚没有广泛被应用),但是这两者整体都是层次化的结构,这样我们可以研究两个系统之间的联系与相同之处。

图2: 视觉环路,听觉环路,人工神经网络(从左到右)

 

三、视觉通路和人工神经网络

       MIT的James Dicarlo早期的工作中,通过比较发现:视觉环路和人工神经网络在高层的神经元有比较一致的发放(firing)。这个工作证明了,这两个系统,在这种层级的联系下具有一定的联系。Freeman等人通过给一些图片刺激发现,V1的神经元对这些图片特异性不大,而V2的神经元对这些图片有一定的特异性。Okazawa 等人发现在V4的神经元也会对这些图片有一定的特异性。

       为了研究到底是什么导致了v2和V4的神经元对这些图片有一定的特异性,而v1的神经元对这些图片的特异性不大,只有通过计算模型来解释视觉环路中的机制。传统的计算模型都是单层模型,很难去解释环路上多层级上神经元的特异性,因而深度学习计算模型一个很好的选择。因为他是一个层级化的模型,可以对比不同层级的神经元反应。

       具体做法如下:

       首先,通过算法在原图片基础上合成光谱匹配噪声图片(Spectrally matched noise images,SM)和自然纹理图片 (Naturalistic texture images,NT)(见图3A),这里的SM图片的光谱的原图片是一样的,NT 图片具有和原图有很高的高阶统计特性。 其次,分别把原图,SM,NT图片输入到一个深度学习计算模型(见图3B),记录低层级和高层级的人工神经元的反应。类似在神经科学里面做生理实验,把这个计算模型看作一个小白鼠,给它看图片。这样的一个好处就是所有的人工神经元都可以记录,而小白鼠只能记录部分的真实神经元。此外,通过正则化的系数来调控神经元发放的稀疏性,从而研究稀疏性对层级特异性的影响。

       最后,定义一个 Modulation Index(MI)(见图3 )指标来衡量神经元对NT图片的特异性,基于MI指标来量化各层级神经元的特异性。

图3:  A. 原始,SM 和 NT图片,B 视觉深度学习计算模型

       实验结果发现:在Pretrained 的VGG和Alexnet(有监督模型)做了实验发现,从计算模型的低层级到高层级的神经元的MI是一个上升的趋势,单个的神经元的MI在低层级基本也是没有特异性的,在高层级的神经元是有一定的特异性的(见图4)。前面的计算模型是有监督的,但类似的结果也在SHMAX(无监督模型)计算模型上得到验证。

图4 : MI在视觉深度学习计算模型的各层级的MI 和层级单神经元的MI值

       视觉环路与深度学习计算模型的联系,总结如下:

1. 深度学习计算模型层级神经元的特异性和真实视觉环路有较好的对应得益于深度学习计算模型的层级化结构

2. 深度学习计算模型层级神经元的特异性与有监督和无监督学习无关

3. 深度学习计算模型随着层级越高,所对应层级的神经元的特异性越显著

4. 深度学习计算模型的层级稀疏性(sparsity )越强,所对应层级的神经元的特异性越显著

 

四、听觉环路和人工神经网络

       听觉环路也是一个层级结构(见图5),声音从耳蜗(Cochlea)传到下丘(IC)再到听觉皮层。一共6层,不同层级的神经元的反应特异性性不一样。De Boer和de Jongh等人发现耳蜗对声音有不同波长的处理 ;Lesica和Grothe等人发现在下丘的神经元对某些声音有抑制和兴奋;,Mesgarani等人发现在听觉皮层的神经元会对辅音,元音,鼻音有一定的特异性。

图5: 听觉环路

       为什么在不同层级的神经元有不同的特异性呢?

       类似于深度学习计算模型在视觉环路的研究,胡教授利用深度学习计算模型来研究听觉环路,建立了听觉稀疏发放计算模型(见图6),把声音输入经过耳蜗过滤得到的stimuli 作为计算模型的输入,就可以得到听觉皮层的神经元对声音的特异性。

图6: 视觉深度学习计算模型

       研究发现,视觉深度学习计算模型的Layer S2的神经元和猫的下丘神经元的统计特性很一致(见图7),听觉深度学习计算模型的Layer C6(见图8)的神经元也会对辅音,元音,鼻音有一定的特异性,与猫的更高级的听觉皮层类似。

图7: 听觉深度学习计算模型 S2层的神经元和猫下丘的神经元的统计结果

图8: 听觉深度学习计算模型 C6层神经元的F-Ratio

       听觉环路与深度学习计算模型的联系,总结:

1. 深度学习计算模型高层级神经元能够展示视听觉皮层的高阶区域的神经元的特异性。

2. 稀疏编码对塑造神经元的反应有非常重要的意义。

3. 深度学习计算模型层级人工神经元和真实的生物系统神经元长的太不一致了,只是在抽象上是有相类似的层级化结构,并不能用深度学习计算模型做一些细致的神经科学研究工作。

 

参考文献:

Chengxu Zhuang, Yulong Wang, Daniel Yamins, Xiaolin Hu*, “Deep learning predicts a correlation between a functional signature of higher visual areas and sparse firing of neurons,” Frontiers in Computational Neuroscience, 2017. Doi: 10.3389/fncom.2017.00100

Qingtian Zhang, Xiaolin Hu*, Bo Hong, Bo Zhang, “A hierarchical sparse coding model predicts acoustic feature encoding in both auditory midbrain and cortex,” PLOS Computational Biology, 15(2): e1006766, 2019.

 

胡晓林老师的talk视频已经上传B站。如有兴趣可点击下方链接观看完整的报告视频:

https://www.bilibili.com/video/BV1q5411473N/

注:本文的描述如有跟视频内容不符之处,以胡老师的talk视频为准。

 

 

本文作者:冉旭明

视频录制:王正旸

校对:刘泉影