深度学习（Deep learning）是基于人工神经网络的机器学习方法的一部分。深度学习架构，如深度神经网络、深度信念网络、递归神经网络和卷积神经网络等，已被应用于生物信息学、药物设计、医学图像分析等领域。  

       受南方科技大学生物医学工程系刘泉影博士邀请，来自上海交通大学自然科学研究院的许志钦博士（https://ins.sjtu.edu.cn/people/xuzhiqin/）于腾讯会议平台在线深入浅出的讲解了深度学习（Deep Learning）的频率原则 (Frequency Principle, F-Principle)理论，并利用实验与数学理论结合的方式，阐明了深度神经网络更适用于低频情况（“DNNs prefer low frequency”）这一核心思想。

图1: 深度学习的优势  

       在讲座伊始，许博士以实验案例说明了深度学习算法的优势。 深度神经网络（DNN）模型中参数复杂，可用于拟合细微的变化，并且DNN 大部分时候不会有过度拟合现象。深度学习与传统学习理论不一样，虽然模型复杂度高，但是具有比较好的泛化能力（generalization ability），也就是算法对新样本的适应能力较强。

       然而，深度学习理论在实际应用过程中也可能出现的问题。许博士用轻松幽默的漫画方式（如图2）说明在某些情况下DNN可能并没有全面考察真实问题，只是在能“做事的地方”尝试解决问题。

图2: 深度学习的问题

       本次讲座涉及到的模型中的“频率”（Frequency）理解为“输入变化一点点，输出变化的大小”。在了解了DNN模型中所使用的“频率”这一映射（mapping）基础上产生的核心概念之后，从简单函数/一维空间问题出发，频率空间出现了频率原则。首先，直观地，通过实验可以发现，DNN在拟合过程是从轮廓开始的，再随着步数和层数增加，慢慢“抓住”细节。

图3： 频率原则（F-Principle）的研究框架

       在图示拟合的过程中，可以发现图像上出现平坦、震荡等特征。许博士解释这些特征可用数学理论上的傅里叶分析中相应的频率概念解释，其中平坦图像对应低频概念，震荡图像对应高频概念。

       结合实验与理论解释，得出DNN具有擅长捕捉低频分量，同时将高频分量控制在较小的范围内，并且逐步捕捉高频成分的特点——频率原则（Frequency Principle）。同时，关于“频率还是幅度决定收敛速度”这一问题，许博士的研究发现：收敛是从低频到高频的。

图4: 频率原则（Frequency Principle）

       “一维问题类似于在光亮的地方摸索清楚了”，进一步考虑函数维度升高的情况。特别地，对二维到一维的映射，许博士给出了一个详细的实验描述——记住一张图片（如图5），即像素点到该点灰度值的映射。实验中发现随着步数增加，图像的轮廓细节逐渐清晰。多个高维度情况下的实验与思考都体现一个最重要的思想——从频率角度理解深度学习。

图5: DNN二维的实验案例

       这些实验案例中，所讨论的频率是反映频率（response frequency），即输入输出映射的频率，而不是相邻像素的变化强度的变化率。因此，高频是指图像中的像素强度的微小变化可能会引起输出的较大变化。实验发现，如果特意设计噪音，DNN就不再进行有效识别，由于映射发生了变化，从而产生了不一样的频率。这也就是说，在DNN中，图像的改变对识别结果的影响本质上是频率的影响作用。结合傅里叶分析、离散化、低通滤波器、卷积定理等数学方法可以有效说明输入输出同时高维的实际问题中的频率原则。实验与理论并行一致验证DNN低频先收敛的性质。

图6: DNN高维的实验案例

       最后，许博士结合已有的研究和分析结果说明“深度学习不是万能，只是低频的学习器。在某些高频问题中，强制调参是不容易做出来结果的”。结合深度学习频率原则与计算神经科学，一个值得思考的问题是：大脑是否也执行频率原则——先做低频反应，再做高频反应 ？对于相关的特定神经科学的问题，“频率”要如何理解并定义？更多新想法和理论值得我们去探索并实践！

文字：王海慧

参考文献：

Xu, Zhi-Qin John, et al. “Frequency principle: Fourier analysis sheds light on deep neural networks.” arXiv preprint arXiv:1901.06523 (2019).  

Xu, Zhi-Qin John, Yaoyu Zhang, and Yanyang Xiao. “Training behavior of deep neural network in frequency domain.” International Conference on Neural Information Processing. Springer, Cham, 2019.  

Xu, Zhiqin John. “Understanding training and generalization in deep learning by fourier analysis.” arXiv preprint arXiv:1808.04295 (2018).  

Zhang, Yaoyu, et al. “Explicitizing an implicit bias of the frequency principle in two-layer neural networks.” arXiv preprint arXiv:1905.10264 (2019).  

Zhang, Yaoyu, et al. “A type of generalization error induced by initialization in deep neural networks.” arXiv preprint arXiv:1905.07777 (2019).  

Luo, Tao, et al. “Theory of the frequency principle for general deep neural networks.” arXiv preprint arXiv:1906.09235 (2019).  

Cai, Wei, and Zhi-Qin John Xu. “Multi-scale deep neural networks for solving high dimensional pdes.” arXiv preprint arXiv:1910.11710 (2019).  

文中所有图片均来自于线上讲座屏幕截图

       近日，南科大生物医学工程系助理教授郭琼玉课题组在肿瘤介入栓塞领域构建透明化离体模型方面取得最新研究进展，相关成果论文以“构建透明化肝脏离体模型评估肿瘤血管栓塞治疗（Decellularized liver as a translucent ex vivo model for vascular embolization evaluation）”为题发表在生物材料领域顶级学术期刊Biomaterials。

       生物技术迅速发展的今天，传统体外模型和动物模型已经开始显示出越来越多的局限性，而透明化离体器官模型近几年来在观察研究器官的三维精细结构以及相关疾病机理等方面有很大的应用前景。对于失去手术机会的肝癌患者来说，最普遍的临床治疗方案之一是经导管肝动脉化疗栓塞术（Transarterial chemoembolization, TACE），针对肿瘤供血肝动脉选择性地进行栓塞化疗。然而，TACE治疗缺乏有效模型对栓塞制剂的栓塞化疗特性进行评估，严重影响了该临床治疗药物制剂的研发。此前的相关研究主要使用微流控等体外模型来评估栓塞剂性能，但是此类模型使用的材质与肝脏真实血管的机械性能相差甚远，且模型通道的设计往往过于简单，难以模拟肝细胞癌中复杂的血管分布。而TACE治疗的动物模型由于采用的DSA、CT、MRI等成像系统分辨率较低，无法研究栓塞剂在末梢血管中的栓塞深度，且难以实时动态地监测栓塞效果。因此，如何开发新型TACE模型系统精确地评估栓塞制剂，已经成为该临床领域发展的关键核心问题。

图1. 透明化离体肝脏模型血管系统的量化分析

       针对这一问题，郭琼玉课题组提出了一种采用脱细胞全肝器官作为透明化离体模型对血管栓塞进行评估的新策略。近年来脱细胞技术主要应用于可再生器官重建，该研究创新通过严格控制的脱细胞灌注方法开发了透明化离体肝脏，在脱洗细胞的同时保留了肝内的细胞外基质和整个脉管系统。相较于天然不透明的肝脏，脱细胞肝脏获得了半透明的外观，其脉管系统可以通过各种成像工具进行可视化，包括明场显微镜、荧光显微镜和光声显微镜（图1）。

图2. 在透明化离体肝脏模型中评估不同肿瘤介入栓塞剂

       课题组采用该透明化离体肝脏模型，针对不同种类的肝癌介入栓塞剂（包括液态栓塞剂碘化油和固体栓塞剂栓塞微球）进行了动态和量化评估。课题组发现，透明化离体肝脏模型肝脏血管网络的物理和生理特性比基于聚二甲基硅氧烷等材料的体外模型更为复杂和精细。因此，通过使用该透明化离体模型，可以获得其它模型难以获得的量化数据，包括栓塞剂渗透深度、栓塞终点以及空间分布等重要栓塞特性参数（图2）。

图3. 动态监测液体栓塞剂碘化油栓塞动力学

       此外，课题组首次通过透明化离体肝脏模型动态评估了TACE治疗的栓塞效果（图3），发现液体栓塞剂（如碘化油）的栓塞终点强烈依赖于注射压力，当碘化油到达毛细血管末端时注射压力会急速升高，可能引发栓塞剂泄漏和组织损伤。而对于诸如可降解微球和临床用栓塞微球等固体颗粒栓塞剂，接近栓塞终点的栓塞颗粒密度显著减少。该结果证实固体栓塞剂的颗粒大小和渗透深度是决定颗粒栓塞剂栓塞分布及栓塞终点的两个关键因素，同时这两种因素强烈依赖于血管的尺寸和分布。
       郭琼玉介绍，此项研究工作为建立透明化器官模型可视化研究及评估临床治疗手段开辟了新的途径，有望为蓬勃发展的生物技术和生物材料提供更加有效的评估策略。
       我校生物医学工程系科研助理高雅楠是论文第一作者，科研助理李志华等对论文做出了重要贡献。郭琼玉为本论文的唯一通讯作者，南科大为第一通讯单位。该研究获得了南科大生物医学工程系副教授奚磊、材料科学与工程系讲席教授王湘麟、生物系教授肖国芝，以及新加坡国立大学教授Hanry Yu和副教授Hwa Liang Leo等研究人员的大力支持。
       该研究项目获得了广东省重点领域研究计划“材料基因工程”重点专项、国家自然科学基金、深圳市孔雀计划等项目的资助。
       论文链接：
       https://www.sciencedirect.com/science/article/pii/S0142961220301010?via%3Dihub

供稿：生物医学工程系
编辑：刘馨
主图设计：丘妍

       近日，南方科技大学工学院生物医学工程系系主任、讲席教授蒋兴宇因其在“使用微/纳米材料进行多重分析，从而提高了医疗保健的质量和生物医学研究的效率”等方面的贡献，当选2020年美国医学与生物工程学会会士（AIMBE Fellow）。

       美国医学与生物工程学会（AIMBE，American Institute for Medical and Biological Engineering）是国际医学与生物工程领域著名的非营利性学术组织，旨在引领和推进医学工程和生物学工程为社会服务。AIMBE Fellow 由世界医学与生物工程领域最杰出（Top 2%）的学者组成，每年经过国际同行提名与严格评选产生。其贡献对生物医学、医疗器械、疾病治疗以及相关公共卫生政策的制定具有重要的影响。今年全球共有156名科学家当选。

蒋兴宇

       蒋兴宇研究方向主要包括微流控芯片和纳米生物医学。他于2010年获“国家杰出青年科学基金”，2013年获中组部“青年拔尖人才”，2014年获国务院政府特殊津贴、科技部“创新人才推进计划”，2019年获科技部“国家重点研发计划重点专项项目首席科学家”、首届“科学探索奖”（由腾讯基金会发起）；曾获中国化学会青年化学奖，入选中科院“百人计划”；迄今发表论文200多篇。

       3月27日，中国科学院人机智能协同系统重点实验室研究员李光林老师受我系张明明老师的邀请，在腾讯会议平台上开展了线上讲座。

        基于神经机器接口技术的人机交互是实现生机电一体化机器人系统智能控制的核心，运动功能康复和辅助系统是生机电一体化机器人的一个重要应用领域，而利用神经接口技术获取人体活动信息是实现行为与运动意图精确识别的关键。目前，利用各种柔性传感技术精准获取神经肌肉活动的生理信息，来实现运动意图精确识别是人机智能交互研究的重要方向之一。此次报告汇报了该课题组在柔性传感检测技术及应用方面的一些初步研究进展。

       当前，人机交互已经是当然人们生活中必不可少的活动，包括手机，电脑的使用等等。交互包括物理交互，语音交互，智能交互等。“智能交互”是要求自然，精准，安全的一种交互。基于神经接口的人机交互系统是智能交互的一个重要实例，即采集脑电信号，外周神经信号或者是肌电信号来解码人的意图，实现人机交互。

       但是这也存在问题。首先，这种系统缺乏力反馈，将极大地限制人机交互的发展。为了促进人机交互发展，李教授团队选取了以下几个方面开展研究：利用骨骼肌肉信号来尝试构建一个更好的人机交互系统。这种思想旨在探究肌肉，血液，神经三者之间的耦合关系来提升鲁棒性；研究生理电信号，包括研究EMG信号，以此来改进假肢；改进传感电极，用对皮肤友好的，不受导电膏限制的织物电极，来成功采到各种生理信号。

       近期，柔性电极一改传统金属电极的形状，以其柔软性，低电阻的特性受到研究者的广泛青睐。但是这些研究也存在困难，自于“人”的挑战，部分用户很难长时间稳定的输出信息，同时，也存在着来自“机”的挑战，即有决策的算法，以及鲁棒性差的问题。相信如果克服这些困难，自然、精准、安全的人机交互时代会指日可待。

文字：祁是辰