研究人员开发出合理化深度学习超分辨显微成像方法。近年来，以深度学习为代表的计算超分辨方法可在不损失其他成像性能的前提下，提升显微图像分辨率或信噪比，表现出广阔的应用前景。然而，针对生物医学研究必需高保真度、可定量分析的图像要求，深度学习显微成像方法存在三大共性问题：受限于深度学习内秉的频谱频移（spectral-bias）问题，输出图像分辨率无法达到真值（ground truth）水平；受限于超分辨重建、去噪问题的病态性（ill-posed problem）和神经网络模型的不确定性（model-uncertainty），重建或预测结果的真实性无法得到保障；深度神经网络的训练需要大量数据，但高质量训练数据的采集在许多应用场景下极其困难、甚至无法实现。当前，深度学习显微成像方法的研究和发展如火如荼，并表现出超越传统成像性能极限的潜力，但上述问题阻碍了现有深度学习超分辨或去噪方法在生物显微成像实验中的使用。
10月6日，中国科学院生物物理研究所李栋课题组联合清华大学自动化系、清华大学脑与认知科学研究院、清华-idg/麦戈文脑科学研究院戴琼海课题组，美国霍华德休斯医学研究所jennifer lippincott-schwartz，在 biotechnology上，以长文（article）的形式，发表了题为rationalized deep learning super-resolution microscopy for sustained live imaging of rapid subcellular processes的论文。该研究提出了一套合理化深度学习（rationalized deep learning，rdl）显微成像技术框架，将光学成像模型及物理先验与神经网络结构设计相融合，合理化网络训练、预测过程，从而实现了高性能、高保真的显微图像去噪与超分辨重建，并结合实验室自主研发、搭建的多模态结构光照明显微镜（multi-sim）与高速晶格光片显微镜（llsm），将传统tirf/gi-sim、3d-sim、lls-sim和llsm的成像速度/时程提升30倍以上，实现了当前国际最快（684hz）、成像时程最长（最长可达3小时、60,000时间点以上）的活体细胞成像性能，首次对高速摆动纤毛（>30hz）中转运蛋白（ift）的多种运输行为以及完整细胞分裂过程中核仁液液相分离（liquid-liquid phase separation）过程进行快速、多色、长时程、超分辨观测。 biotechnology针对这一工作同时发表了评述文章（research briefing）。
具体而言，李栋/戴琼海研究团队提出的合理化深度学习结构光超分辨重建架构（rdl sim）不同于现有超分辨神经网络模型的端到端（end-to-end）训练模式，而是采用分步重建策略，首先利用所提出的融合成像物理模型和结构光照明先验的神经网络对原始sim图像进行去噪和高频信息增强，然后通过经典解析算法进行sim重建以获得最终的超分辨图像。相比于该团队去年在 methods上提出的超分辨重建神经网络模型dfcan/dfgan，rdl sim可将超分辨重建结果的不确定性降低3~5倍，并实现更高的保真度和重建质量；相比于其他去噪算法（如care），rdl sim可恢复出调制在原始图像中的莫尔条纹，并将高频信息增强10倍以上。
此外，针对晶格光片显微镜、共聚焦显微镜等宽场照明或点扫描成像模态，该团队提出了一种可学习的傅立叶域噪声抑制模块（fnsm）。该模块可以利用otf信息对显微图像中的噪声进行自适应滤除。科研团队以此构建了嵌入fnsm的通道注意力去噪神经网络架构，并基于显微成像数据本身的时空连续性，提出了时空交织采样自监督训练策略（tis/sis-rdl）。该策略无需额外采集训练数据、亦无需保证时序数据具有时间连续性，即可实现媲美监督学习效果的去噪神经网络的训练，解决了实际生物成像实验中高质量训练数据难以获取的难题。
合理化深度学习超分辨显微成像方法可适用于包括2d-sim、3d-sim、llsm等在内的多种显微成像模态，提供高分辨率、高保真的显微图像重建性能，相较于传统方法最多可以提升30倍的成像时程和10倍的成像速度。借助rdl成像技术，研究团队开展了诸多过去的成像手段无法开展的超分辨活体成像实验，并与lippincott-schwartz、中科院分子细胞科学卓越创新中心研究员朱学良、中科院遗传与发育生物学研究所研究员何康敏探讨了其潜在的生物学意义，包括：对滴落在玻片上的u2os细胞贴壁生长过程进行双色、长时程（1小时以上）、超分辨（97nm分辨率）观测，清晰、真实地记录了细胞粘附和迁移的动力学现象，且不干扰这一漫长、脆弱的生命过程；对高速摆动纤毛以当前最快的684hz成像速率进行长达60,000个时间点的连续超分辨观测，且过程中无明显光漂白或细胞活性损伤，并对纤毛摆动模式和频率进行；对摆动纤毛及纤毛内转运蛋白（ift）进行超快、超分辨双色成像，揭示了ift在行进途中碰撞、重组、掉头等多种新行为；通过对ccas-dna与er进行双色、长时程、超分辨成像，观测到cgas-dna在保持与er持续接触过程中的定向运动、转向或扩散等行为，拓展了对膜性细胞器与无膜细胞器相互作用机制的认知；对hela细胞分裂过程中的核仁磷酸蛋白（npm1）、rna聚合酶i亚基rpa49及染色质（h2b）进行超长时程（12秒采集间隔，2.5小时以上）的三维超分辨活体成像，实现了对完整有丝分裂过程中npm1与rpa49两种结构形态变化的三维超分辨活体连续观测，揭示了细胞有丝分裂过程中核仁形成以及npm1、rpa49两种无膜亚细胞结构的相变、互作规律；以10hz的全细胞体成像帧率对高尔基体进行长达10,000时间点的连续拍摄，并实现了对完整细胞分裂过程内质网、溶酶体、线粒体等亚细胞结构的三色、高速（秒量级）、超长时程（小时量级，>1000个时间点）三维观测，探究了细胞有丝分裂过程中细胞器在子代细胞中的均匀分配机制。
李栋/戴琼海合作团队通过算法与光学显微成像技术的交叉创新，提出了合理化深度学习超分辨显微成像框架，解决了现有深度学习成像方法分辨率损失、预测不确定性、训练集不易采集等难题，可为多种活体显微成像模态提供30倍以上的成像速度与时程的提升，为细胞生物学、发育生物学、神经科学等领域的发展提供了重要的研究工具。同时，该研究团队所坚持和倡导的算法与光学成像原理交叉创新、软硬结合的研究思路，为现代光学显微成像的发展开辟了新的技术路径。
研究工作得到国家自然科学基金、科技部、中科院、中国后科学基金、腾讯“科学探索奖”、清华大学“水木学者”计划的支持。
图1.合理化深度学习超分辨显微成像神经网络架构
图2.合理化深度学习超分辨显微成像方法应用概览
研究团队单位：生物物理研究所
