受南方科技大学生物医学工程系刘泉影助理教授邀请，来自清华大学计算机系胡晓林副教授（http://www.xlhu.cn/）于腾讯会议平台在线讲座，通过深度学习模型对脑的视听觉环路建立计算模型这两个案例，阐释了：1）利用层次化结构的深度学习计算模型能够很好地展现视觉、听觉的高层皮层神经元的功能特点，2）神经元的稀疏发放与神经元表征的分层特异性密不可分。同时，本讲座还回顾了脑智能（Brain Intelligence）和 人工智能（Artificial intelligence）之间是如何相互促进发展的。

一、脑智能(BI)和人工智能(AI)

       不管是Werbos 和 Rumelhrat 等人，在80年代从McCulloch, Pitts和Rosennblatt等人的基础上提出的多层感知机和反向传播算法（Back-Propogation, BP），还是LeCun在1989年基于Fukushima和Wiesel的工作，结合BP提出的卷积神经网络（CNN），都离不开脑科学的指引。因为在1943年McCulloch 和Pitts提出阈值逻辑单元；Wiesel 等人在50年代末，在猫上做的一个实验，发现了简单细胞和复杂细胞，随后Fukushima在这个发现基础上提出了认知机（Neocognitron），最先出发点都是为了揭示大脑的工作原理。后来发现这些模型在工程上有很重要的应用价值，所以人工智能的发展是和脑科学有密切相关的（见图1）。

图1：脑智能与人工智能双线发展历程

二、从深度学习的角度看大脑

       视听觉系统的结构都是层级化的结构，这个和深度学习计算模型的结构是一致的（见图2）。虽然两者之间有一些显著的差别（例如在视觉系统广泛存在反馈（Feedback）和循环（Recurrent）的机制，在深度学习计算模型尚没有广泛被应用），但是这两者整体都是层次化的结构，这样我们可以研究两个系统之间的联系与相同之处。

图2: 视觉环路，听觉环路，人工神经网络（从左到右）

三、视觉通路和人工神经网络

       MIT的James Dicarlo早期的工作中，通过比较发现：视觉环路和人工神经网络在高层的神经元有比较一致的发放（firing）。这个工作证明了，这两个系统，在这种层级的联系下具有一定的联系。Freeman等人通过给一些图片刺激发现，V1的神经元对这些图片特异性不大，而V2的神经元对这些图片有一定的特异性。Okazawa 等人发现在V4的神经元也会对这些图片有一定的特异性。

       为了研究到底是什么导致了v2和V4的神经元对这些图片有一定的特异性，而v1的神经元对这些图片的特异性不大，只有通过计算模型来解释视觉环路中的机制。传统的计算模型都是单层模型，很难去解释环路上多层级上神经元的特异性，因而深度学习计算模型一个很好的选择。因为他是一个层级化的模型，可以对比不同层级的神经元反应。

       具体做法如下：

       首先，通过算法在原图片基础上合成光谱匹配噪声图片（Spectrally matched noise images，SM）和自然纹理图片 （Naturalistic texture images，NT）（见图3A），这里的SM图片的光谱的原图片是一样的，NT 图片具有和原图有很高的高阶统计特性。 其次，分别把原图，SM，NT图片输入到一个深度学习计算模型（见图3B），记录低层级和高层级的人工神经元的反应。类似在神经科学里面做生理实验，把这个计算模型看作一个小白鼠，给它看图片。这样的一个好处就是所有的人工神经元都可以记录，而小白鼠只能记录部分的真实神经元。此外，通过正则化的系数来调控神经元发放的稀疏性，从而研究稀疏性对层级特异性的影响。

       最后，定义一个 Modulation Index（MI）（见图3 ）指标来衡量神经元对NT图片的特异性，基于MI指标来量化各层级神经元的特异性。

图3：  A. 原始，SM 和 NT图片，B 视觉深度学习计算模型

       实验结果发现：在Pretrained 的VGG和Alexnet（有监督模型）做了实验发现，从计算模型的低层级到高层级的神经元的MI是一个上升的趋势，单个的神经元的MI在低层级基本也是没有特异性的，在高层级的神经元是有一定的特异性的（见图4）。前面的计算模型是有监督的，但类似的结果也在SHMAX（无监督模型）计算模型上得到验证。

图4 : MI在视觉深度学习计算模型的各层级的MI 和层级单神经元的MI值

       视觉环路与深度学习计算模型的联系，总结如下：

1. 深度学习计算模型层级神经元的特异性和真实视觉环路有较好的对应得益于深度学习计算模型的层级化结构

2. 深度学习计算模型层级神经元的特异性与有监督和无监督学习无关

3. 深度学习计算模型随着层级越高，所对应层级的神经元的特异性越显著

4. 深度学习计算模型的层级稀疏性(sparsity )越强，所对应层级的神经元的特异性越显著

四、听觉环路和人工神经网络

       听觉环路也是一个层级结构（见图5），声音从耳蜗（Cochlea）传到下丘（IC）再到听觉皮层。一共6层，不同层级的神经元的反应特异性性不一样。De Boer和de Jongh等人发现耳蜗对声音有不同波长的处理 ；Lesica和Grothe等人发现在下丘的神经元对某些声音有抑制和兴奋；，Mesgarani等人发现在听觉皮层的神经元会对辅音，元音，鼻音有一定的特异性。

图5: 听觉环路

       为什么在不同层级的神经元有不同的特异性呢？

       类似于深度学习计算模型在视觉环路的研究，胡教授利用深度学习计算模型来研究听觉环路，建立了听觉稀疏发放计算模型（见图6），把声音输入经过耳蜗过滤得到的stimuli 作为计算模型的输入，就可以得到听觉皮层的神经元对声音的特异性。

图6: 视觉深度学习计算模型

       研究发现，视觉深度学习计算模型的Layer S2的神经元和猫的下丘神经元的统计特性很一致（见图7），听觉深度学习计算模型的Layer C6（见图8）的神经元也会对辅音，元音，鼻音有一定的特异性，与猫的更高级的听觉皮层类似。

图7: 听觉深度学习计算模型 S2层的神经元和猫下丘的神经元的统计结果

图8: 听觉深度学习计算模型 C6层神经元的F-Ratio

       听觉环路与深度学习计算模型的联系，总结：

1. 深度学习计算模型高层级神经元能够展示视听觉皮层的高阶区域的神经元的特异性。

2. 稀疏编码对塑造神经元的反应有非常重要的意义。

3. 深度学习计算模型层级人工神经元和真实的生物系统神经元长的太不一致了，只是在抽象上是有相类似的层级化结构，并不能用深度学习计算模型做一些细致的神经科学研究工作。

参考文献：

Chengxu Zhuang, Yulong Wang, Daniel Yamins, Xiaolin Hu*, “Deep learning predicts a correlation between a functional signature of higher visual areas and sparse firing of neurons,” Frontiers in Computational Neuroscience, 2017. Doi: 10.3389/fncom.2017.00100

Qingtian Zhang, Xiaolin Hu*, Bo Hong, Bo Zhang, “A hierarchical sparse coding model predicts acoustic feature encoding in both auditory midbrain and cortex,” PLOS Computational Biology, 15(2): e1006766, 2019.

胡晓林老师的talk视频已经上传B站。如有兴趣可点击下方链接观看完整的报告视频：

https://www.bilibili.com/video/BV1q5411473N/

注：本文的描述如有跟视频内容不符之处，以胡老师的talk视频为准。

本文作者：冉旭明

视频录制：王正旸

校对：刘泉影