Nature Biotechnology:研究人员开发了一种理性的深度学习超分辨率显微成像方法

来源：生物物理研究所，2022年10月19日09:37

近年来，以深度学习为代表的计算超分辨率方法可以在不损失其他成像性能的情况下，提高显微图像的分辨率或信噪比，展现出广阔的应用前景。

近年来，以深度学习为代表的计算超分辨率方法可以在不损失其他成像性能的情况下，提高显微图像的分辨率或信噪比，展现出广阔的应用前景。然而，根据生物医学研究中高保真和定量分析的图像要求，深度学习显微成像方法存在三个常见问题：受限于深度学习固有的光谱偏差，输出图像分辨率无法达到地面真实水平；受限于超分辨率重建、去噪的不适定问题以及神经网络模型的模型不确定性，无法保证重建或预测结果的真实性；深度神经网络的训练需要大量的数据，但是高质量训练数据的收集在很多应用场景下是极其困难甚至不可能的。目前，深度学习显微成像方法的研发正在如火如荼地进行，并显示出超越传统成像性能极限的潜力。然而，上述问题阻碍了现有深度学习超分辨率或去噪方法在生物显微成像实验中的应用。

中国科学院生物物理研究所董力课题组和清华大学戴琼海课题组、清华大学脑与认知科学研究所、清华-IDG/麦戈文脑科学研究所、美国霍华德休斯医学研究所博士詹妮弗利平科特-施瓦茨在《自然生物技术》上做了长文。他发表了一篇题为《快速细胞过程的持续实时成像的理性深度学习超分辨率显微术》的论文。本研究提出了一套合理化深度学习(rDL)显微成像技术框架，将光学成像模型和物理先验与神经网络结构设计相结合，合理化网络训练和预测过程，从而实现高性能、高保真显微图像去噪和超分辨率重建。结合实验室自主研发建设的多模式结构光照明显微镜(Multi-SIM)和高速点阵光学显微镜(LLSM)，将传统的TIRF/GI-SIM、3D-SIM、LLS-SIM和LLSM的成像速度/时间进度提高了30倍以上，实现了目前世界上最快(684Hz)、最长成像时间(可达3小时、60小时00点以上)，并首次实现了快速、多色、 对IFT在高速摆动纤毛(30Hz)中的各种转运行为和整个细胞分裂中的核仁液-液相分离过程进行了长期超分辨观察。 《自然生物技术》也发表了关于这项工作的研究简报。

具体来说，董力/戴琼海研究团队提出的rational深度学习结构光超分辨率重建架构(rDL SIM)不同于现有超分辨率神经网络模型的端到端训练模式，而是采用分步重建策略。首先，利用提出的融合成像物理模型和结构光照明的先验神经网络对原始SIM图像进行去噪和高频信息增强，然后通过经典解析算法进行SIM重构得到最终的超分辨率图像。与去年Nature Methods上的团队提出的超分辨率重建神经网络模型DFCAN/DFGAN相比，rDL SIM可以将超分辨率重建结果的不确定性降低3~5倍，达到更高的保真度和重建质量；与其他去噪算法(如CARE)相比，rDL SIM可以恢复原图像中调制的莫尔条纹，增强高频信息10倍以上。

此外，该团队提出了一种可学习的傅立叶域噪声抑制模块(FNSM)，用于宽视场照明或点扫描成像模式，如晶格光学显微镜和共焦显微镜。该模块可以利用OTF信息自适应地过滤显微图像中的噪声。基于此，研究团队构建了嵌入FNSM的通道注意力去噪神经网络架构，并提出了基于显微成像数据时空连续性的时空交错采样自监控训练策略(TiS/SiS-rDL)。该策略无需额外的训练数据收集和时间序列数据的时间连续性，即可实现与监督学习效果相当的去噪神经网络训练，解决了实际生物成像实验中难以获得高质量训练数据的问题。

合理化的深度学习超分辨率显微成像方法可以应用于多种显微成像模态，包括2D-SIM、3D-SIM、LLSM等。提供高分辨率和高保真的显微图像重建性能。与传统方法相比，它可以增加成像时间和成像速度高达30倍。在rDL成像技术的帮助下，研究团队开展了许多以往成像方法无法开展的超分辨率活体成像实验，并与-Schwartz、中科院分子细胞科学卓越中心研究员朱学良、中科院遗传与发育生物学研究所研究员何等人探讨了其潜在的生物学意义。包括以下步骤：双色、长时间(1小时以上)、超分辨率(97nm分辨率)观察U2OS细胞滴在载玻片上的贴壁生长过程，清晰、真实地记录细胞黏附和迁移的动态现象，不干扰这一漫长而脆弱的生命过程；以目前最快的成像速率684Hz对高速摆动的纤毛进行了60000个时间点的超分辨率连续观察，过程中没有出现明显的光漂白或细胞活性损伤。分析纤毛摆动的方式和频率。摆动纤毛和纤毛内转运蛋白(IFT)的超快速和超分辨率双色成像显示，IFT在其途中发生了碰撞、重组和转向。

等多种新行为；通过对cCAS-DNA与ER进行双色、长时程、超分辨成像，观测到cGAS-DNA在保持与ER持续接触过程中的定向运动、转向或扩散等行为，拓展了对膜性细胞器与无膜细胞器相互作用机制的认知；对HeLa细胞分裂过程中的核仁磷酸蛋白（NPM1）、RNA聚合酶I亚基RPA49及染色质（H2B）进行超长时程（12秒采集间隔，2.5小时以上）的三维超分辨活体成像，实现了对完整有丝分裂过程中NPM1与RPA49两种结构形态变化的三维超分辨活体连续观测，揭示了细胞有丝分裂过程中核仁形成以及NPM1、RPA49两种无膜亚细胞结构的相变、互作规律；以10Hz的全细胞体成像帧率对高尔基体进行长达10,000时间点的连续拍摄，并实现了对完整细胞分裂过程内质网、溶酶体、线粒体等亚细胞结构的三色、高速（秒量级）、超长时程（小时量级， 1000个时间点）三维观测，探究了细胞有丝分裂过程中细胞器在子代细胞中的均匀分配机制。

李栋/戴琼海合作团队通过人工智能算法与光学显微成像技术的交叉创新，提出了合理化深度学习超分辨显微成像框架，解决了现有深度学习成像方法分辨率损失、预测不确定性、训练集不易采集等难题，可为多种活体显微成像模态提供30倍以上的成像速度与时程的提升，为细胞生物学、发育生物学、神经科学等领域的发展提供了重要的研究工具。同时，该研究团队所坚持和倡导的人工智能算法与光学成像原理交叉创新、软硬结合的研究思路，为现代光学显微成像的发展开辟了新的技术路径。

图1.合理化深度学习超分辨显微成像神经网络架构

版权声明 本网站所有注明“来源：100医药网”或“来源：bioon”的文字、图片和音视频资料，版权均属于100医药网网站所有。非经授权，任何媒体、网站或个人不得转载，否则将追究法律责任。取得书面授权转载时，须注明“来源：100医药网”。其它来源的文章系转载文章，本网所有转载文章系出于传递更多信息之目的，转载内容不代表本站立场。不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。

87%用户都在用100医药网APP 随时阅读、评论、分享交流 请扫描二维码下载->

医药网新闻