深度学习（Deep learning）是基于人工神经网络的机器学习方法的一部分。深度学习架构，如深度神经网络、深度信念网络、递归神经网络和卷积神经网络等，已被应用于生物信息学、药物设计、医学图像分析等领域。  

       受南方科技大学生物医学工程系刘泉影博士邀请，来自上海交通大学自然科学研究院的许志钦博士（https://ins.sjtu.edu.cn/people/xuzhiqin/）于腾讯会议平台在线深入浅出的讲解了深度学习（Deep Learning）的频率原则 (Frequency Principle, F-Principle)理论，并利用实验与数学理论结合的方式，阐明了深度神经网络更适用于低频情况（“DNNs prefer low frequency”）这一核心思想。

图1: 深度学习的优势  

       在讲座伊始，许博士以实验案例说明了深度学习算法的优势。 深度神经网络（DNN）模型中参数复杂，可用于拟合细微的变化，并且DNN 大部分时候不会有过度拟合现象。深度学习与传统学习理论不一样，虽然模型复杂度高，但是具有比较好的泛化能力（generalization ability），也就是算法对新样本的适应能力较强。

       然而，深度学习理论在实际应用过程中也可能出现的问题。许博士用轻松幽默的漫画方式（如图2）说明在某些情况下DNN可能并没有全面考察真实问题，只是在能“做事的地方”尝试解决问题。

图2: 深度学习的问题

       本次讲座涉及到的模型中的“频率”（Frequency）理解为“输入变化一点点，输出变化的大小”。在了解了DNN模型中所使用的“频率”这一映射（mapping）基础上产生的核心概念之后，从简单函数/一维空间问题出发，频率空间出现了频率原则。首先，直观地，通过实验可以发现，DNN在拟合过程是从轮廓开始的，再随着步数和层数增加，慢慢“抓住”细节。

图3： 频率原则（F-Principle）的研究框架

       在图示拟合的过程中，可以发现图像上出现平坦、震荡等特征。许博士解释这些特征可用数学理论上的傅里叶分析中相应的频率概念解释，其中平坦图像对应低频概念，震荡图像对应高频概念。

       结合实验与理论解释，得出DNN具有擅长捕捉低频分量，同时将高频分量控制在较小的范围内，并且逐步捕捉高频成分的特点——频率原则（Frequency Principle）。同时，关于“频率还是幅度决定收敛速度”这一问题，许博士的研究发现：收敛是从低频到高频的。

图4: 频率原则（Frequency Principle）

       “一维问题类似于在光亮的地方摸索清楚了”，进一步考虑函数维度升高的情况。特别地，对二维到一维的映射，许博士给出了一个详细的实验描述——记住一张图片（如图5），即像素点到该点灰度值的映射。实验中发现随着步数增加，图像的轮廓细节逐渐清晰。多个高维度情况下的实验与思考都体现一个最重要的思想——从频率角度理解深度学习。

图5: DNN二维的实验案例

       这些实验案例中，所讨论的频率是反映频率（response frequency），即输入输出映射的频率，而不是相邻像素的变化强度的变化率。因此，高频是指图像中的像素强度的微小变化可能会引起输出的较大变化。实验发现，如果特意设计噪音，DNN就不再进行有效识别，由于映射发生了变化，从而产生了不一样的频率。这也就是说，在DNN中，图像的改变对识别结果的影响本质上是频率的影响作用。结合傅里叶分析、离散化、低通滤波器、卷积定理等数学方法可以有效说明输入输出同时高维的实际问题中的频率原则。实验与理论并行一致验证DNN低频先收敛的性质。

图6: DNN高维的实验案例

       最后，许博士结合已有的研究和分析结果说明“深度学习不是万能，只是低频的学习器。在某些高频问题中，强制调参是不容易做出来结果的”。结合深度学习频率原则与计算神经科学，一个值得思考的问题是：大脑是否也执行频率原则——先做低频反应，再做高频反应 ？对于相关的特定神经科学的问题，“频率”要如何理解并定义？更多新想法和理论值得我们去探索并实践！

文字：王海慧

参考文献：

Xu, Zhi-Qin John, et al. “Frequency principle: Fourier analysis sheds light on deep neural networks.” arXiv preprint arXiv:1901.06523 (2019).  

Xu, Zhi-Qin John, Yaoyu Zhang, and Yanyang Xiao. “Training behavior of deep neural network in frequency domain.” International Conference on Neural Information Processing. Springer, Cham, 2019.  

Xu, Zhiqin John. “Understanding training and generalization in deep learning by fourier analysis.” arXiv preprint arXiv:1808.04295 (2018).  

Zhang, Yaoyu, et al. “Explicitizing an implicit bias of the frequency principle in two-layer neural networks.” arXiv preprint arXiv:1905.10264 (2019).  

Zhang, Yaoyu, et al. “A type of generalization error induced by initialization in deep neural networks.” arXiv preprint arXiv:1905.07777 (2019).  

Luo, Tao, et al. “Theory of the frequency principle for general deep neural networks.” arXiv preprint arXiv:1906.09235 (2019).  

Cai, Wei, and Zhi-Qin John Xu. “Multi-scale deep neural networks for solving high dimensional pdes.” arXiv preprint arXiv:1910.11710 (2019).  

文中所有图片均来自于线上讲座屏幕截图

       近日，南科大生物医学工程系助理教授郭琼玉课题组在肿瘤介入栓塞领域构建透明化离体模型方面取得最新研究进展，相关成果论文以“构建透明化肝脏离体模型评估肿瘤血管栓塞治疗（Decellularized liver as a translucent ex vivo model for vascular embolization evaluation）”为题发表在生物材料领域顶级学术期刊Biomaterials。

       生物技术迅速发展的今天，传统体外模型和动物模型已经开始显示出越来越多的局限性，而透明化离体器官模型近几年来在观察研究器官的三维精细结构以及相关疾病机理等方面有很大的应用前景。对于失去手术机会的肝癌患者来说，最普遍的临床治疗方案之一是经导管肝动脉化疗栓塞术（Transarterial chemoembolization, TACE），针对肿瘤供血肝动脉选择性地进行栓塞化疗。然而，TACE治疗缺乏有效模型对栓塞制剂的栓塞化疗特性进行评估，严重影响了该临床治疗药物制剂的研发。此前的相关研究主要使用微流控等体外模型来评估栓塞剂性能，但是此类模型使用的材质与肝脏真实血管的机械性能相差甚远，且模型通道的设计往往过于简单，难以模拟肝细胞癌中复杂的血管分布。而TACE治疗的动物模型由于采用的DSA、CT、MRI等成像系统分辨率较低，无法研究栓塞剂在末梢血管中的栓塞深度，且难以实时动态地监测栓塞效果。因此，如何开发新型TACE模型系统精确地评估栓塞制剂，已经成为该临床领域发展的关键核心问题。

图1. 透明化离体肝脏模型血管系统的量化分析

       针对这一问题，郭琼玉课题组提出了一种采用脱细胞全肝器官作为透明化离体模型对血管栓塞进行评估的新策略。近年来脱细胞技术主要应用于可再生器官重建，该研究创新通过严格控制的脱细胞灌注方法开发了透明化离体肝脏，在脱洗细胞的同时保留了肝内的细胞外基质和整个脉管系统。相较于天然不透明的肝脏，脱细胞肝脏获得了半透明的外观，其脉管系统可以通过各种成像工具进行可视化，包括明场显微镜、荧光显微镜和光声显微镜（图1）。

图2. 在透明化离体肝脏模型中评估不同肿瘤介入栓塞剂

       课题组采用该透明化离体肝脏模型，针对不同种类的肝癌介入栓塞剂（包括液态栓塞剂碘化油和固体栓塞剂栓塞微球）进行了动态和量化评估。课题组发现，透明化离体肝脏模型肝脏血管网络的物理和生理特性比基于聚二甲基硅氧烷等材料的体外模型更为复杂和精细。因此，通过使用该透明化离体模型，可以获得其它模型难以获得的量化数据，包括栓塞剂渗透深度、栓塞终点以及空间分布等重要栓塞特性参数（图2）。

图3. 动态监测液体栓塞剂碘化油栓塞动力学

       此外，课题组首次通过透明化离体肝脏模型动态评估了TACE治疗的栓塞效果（图3），发现液体栓塞剂（如碘化油）的栓塞终点强烈依赖于注射压力，当碘化油到达毛细血管末端时注射压力会急速升高，可能引发栓塞剂泄漏和组织损伤。而对于诸如可降解微球和临床用栓塞微球等固体颗粒栓塞剂，接近栓塞终点的栓塞颗粒密度显著减少。该结果证实固体栓塞剂的颗粒大小和渗透深度是决定颗粒栓塞剂栓塞分布及栓塞终点的两个关键因素，同时这两种因素强烈依赖于血管的尺寸和分布。
       郭琼玉介绍，此项研究工作为建立透明化器官模型可视化研究及评估临床治疗手段开辟了新的途径，有望为蓬勃发展的生物技术和生物材料提供更加有效的评估策略。
       我校生物医学工程系科研助理高雅楠是论文第一作者，科研助理李志华等对论文做出了重要贡献。郭琼玉为本论文的唯一通讯作者，南科大为第一通讯单位。该研究获得了南科大生物医学工程系副教授奚磊、材料科学与工程系讲席教授王湘麟、生物系教授肖国芝，以及新加坡国立大学教授Hanry Yu和副教授Hwa Liang Leo等研究人员的大力支持。
       该研究项目获得了广东省重点领域研究计划“材料基因工程”重点专项、国家自然科学基金、深圳市孔雀计划等项目的资助。
       论文链接：
       https://www.sciencedirect.com/science/article/pii/S0142961220301010?via%3Dihub

供稿：生物医学工程系
编辑：刘馨
主图设计：丘妍