Menu

Menu

PhotoniX | 自监督结构光显微图像去噪——助力活细胞长时程动态观测

撰稿人 | 陈星晔,乔畅

 

论文题目 | Self-supervised denoising for multimodal structured illumination microscopy enables long-term super-resolution live-cell imaging

作者 | 陈星晔1,2,乔畅1,姜涛3,刘嘉浩4,曾昀敏1,孟权3,陈浩宇3,乔晖1,李栋3,吴嘉敏1

完成单位 | 清华大学,北京航空航天大学,中国科学院生物物理研究所,华中科技大学

研究背景

 

      宏观生物体宛如一个有序运转的工厂,诸如运动、记忆、决策等每一个基本功能都是由成千上万个微观细胞无缝协作而促成的。对于一个如此复杂的系统,深入理解其内部的活动机理始终是科学家们所治理探索的课题。然而,受限于现有显微技术的空间分辨率、成像速率、光损伤性等指标上的不足,长时间地对活体细胞的精细结构进行观测是一个难以实现的任务,许多微观的生物现象难以准确捕捉。因此创新性地设计适用于活体细胞的高速率、超分辨率的显微技术,有着非常重要的研究意义。

 

结构光显微技术是一种高速的超分辨率成像方法,通过采集数张正弦条纹光束照明下的样本图像,再经由计算重构获得约两倍分辨率的提升,实现对线粒体内脊、网格蛋白小泡等亚细胞器结构的解析。然而,由于活体细胞对强光照射十分敏感,为了在成像过程中保持细胞的健康,原始采集图像的信噪通常较低,导致最终重建图片中会出现严重的噪声伪影,淹没样本有效信息,进而严重限制了结构光显微在活体细胞成像中的应用。针对上述问题,近年来研究者们提出了多种基于深度学习的结构光显微图像去噪方法,然而现有方法多采用有监督学习的训练机制,需要大量的无噪声图像支撑训练集的构建,这不仅增加了实验成本,也使得其无法应用于许多难以高效荧光标记的样本中。因此,如何仅利用低信噪比图像实现对结构光显微伪影的去除,是一个亟待解决的技术难题。

论文导读

 

      结构光照明超分辨显微技术(SIM)是一种重要的超分辨成像方法,其能够快速地实现亚细胞器的解析。然而,当原始数据信噪比较低时,SIM面临严重的重建伪影,使得其在活体细胞中的应用受限。针对上述问题,本文发明了一种基于像素重排列的自监督多模态结构光图像去噪方法(Pixel-Realignment-based Self-supervised denoising for SIM,PRS-SIM),能够仅利用低信噪比图像训练深度神经网络,显著去除结构光显微图像的重建伪影。本方法能够显著降低结构光显微技术对于采集光子数的要求,在极弱的激发光强度下实现无伪影的超分辨率成像,可以对活体细胞的亚细胞器结构实现长时程的实时动态成像,揭示了网格蛋白小泡在细胞贴壁过程中的空间分布规律等细胞行为学规律。本研究以“Self-supervised denoising for multimodal structured illumination microscopy enables long-term super-resolution live-cell imaging”为题目于2024年3月发表于 PhotoniX 期刊。

 

主要研究内容

 

      本文针对结构光显微在活体细胞成像中容易产生严重重建伪影的问题,设计了基于像素重排列的自监督学习机制,利用低信噪比的原始数据本身训练去噪神经网络模型,实现了对所重建的超分辨率图像的有效去噪。在此前的研究中,尽管基于有监督学习的去噪方法已经在消除噪声伪影方面取得了显著的进步,然而其需要获取大量的无噪声图像作为训练数据。本文所提出的方法通过精巧的像素重排列设计,能够从低信噪比的原始图像中来构建神经网络训练的输入和目标图像对,有效地训练超分辨率的去噪模型。本方法能够在比普通成像条件的低至20倍的有效采集光子数的情况下,实现无伪影图像重建。此外,本方法能够适用于二维/三维/全内反射/晶格光片/非线性等多种结构光显微系统,实现多模态结构光超分辨数据的去噪。利用本技术,我们可以使用极弱的激发光强度,对活体细胞进行长时程的成像,并观测到敏感的细胞动态过程,从而显著提升了结构光显微技术的应用范围。

 

技术突破

 

      结构光显微技术(SIM)能够仅从少量照明模式调制下图像中计算重建出超分辨率图像。然而在弱光条件下,由于原始图像中存在较强的噪声,其重建算法容易产生严重的伪影,其显著降低了图像质量并淹没了有价值的结构信息,给下游数据分析任务带来了很大困难。为了减轻这些重建伪影,在传统结构光显微成像中,需要使用较长的相机曝光时间和较高的激发功率来采集原始数据,上述操作会显著降低了成像速度或导致严重的光毒性,进而限制了结构光显微在活细胞成像中的应用。因此提升在低光照条件下的结构光显微技术的图像质量,将有实现高时空分辨率的、低光毒性的长时程活体细胞成像,对于细胞生物学、发育生物学等领域的发展提供全新的技术手段。

 

围绕着上述需求,一些传统算法通过提高结构光参数估计精度、基于图像先验优化等方式对结构光显微图像进行去噪。然而,由于实际光学成像过程非常复杂,并且图像去噪任务在理论上是欠定问题,因此这类算法展现出的去噪能力非常有限。近些年,深度神经网络在各种光学成像任务中表现出了卓越的性能,一些基于深度学习的结构光显微重建算法获得了极佳的效果。然而,现有方法多数基于有监督学习,需要良好配准的低-高信噪比图像对来构建训练数据集,无法应用在低荧光效率或高速运动的生物样本上。

基于上述问题,本文提出了一种基于像素重排列的自监督方法(PRS-SIM),能够在比传统重建算法方法使用低至20倍有效采集光子数的情况下,实现无伪影的高质量重建。此外PRS-SIM能够适用于二维/三维/全内反/晶格光片/非线性等多种结构光显微系统,实现不同结构光超分辨模态数据的去噪。

PhotoniX | 自监督结构光显微图像去噪——助力活细胞长时程动态观测
图1 PRS-SIM方法示意图。

 

      PRS-SIM方法的示意图如图1所示。我们设计了一种“像素重排列”策略,从单组含噪声的原始图像中,生成四张超分辨率图像,其中任意两张所生成的图像均可以作为去噪神经网络的训练时的输入图像和目标图像。PRS-SIM生成训练数据集的过程十分精巧、简洁,包含了像素抽取(降采样)、最近邻插值(升采样)、亚像素平移(图像配准)和结构光重建(超分辨率信息提取)四步。在构建训练数据集的全过程中,无需任何高信噪比的真值图像。在去噪实施阶段,我们对含噪声的原始图像应用标准结构光重建算法,随后输入到预训练的模型中,即可输出无噪声伪影的去噪图像。

 

我们首先在已知真值数据的固定细胞样本下验证PRS-SIM的性能。如图2所示,训练数据的有效采集光子相对于无噪声真实数据低10倍以上。在三种典型的结构中(网格蛋白小泡、微管、内质网),PRS-SIM均能够显著去除重建伪影,获得媲美于真值数据的性能,验证了其有效性。

PhotoniX | 自监督结构光显微图像去噪——助力活细胞长时程动态观测

图2 固定样本下的PRS-SIM性能验证。

 

      得益于PRS-SIM优异性能,我们可以在活体细胞成像过程中使用极低的激发光功率和极短的曝光时间来捕捉活体细胞的高速动态过程。特别地,弱光照射的细胞可以长时间保持在正常的状态且生物活性不发生改变,使得长时程成像成为了可能。如图3所示,其中绿色标记样本为网格蛋白小泡,红色标记的肌动蛋白(细胞骨架)。在原始图像中,上述结构几乎不可以分辨,而PRS-SIM方法得到的结果可以清晰地解析出两种结构并获取其相互作用规律。

 

PhotoniX | 自监督结构光显微图像去噪——助力活细胞长时程动态观测
图3 使用PRS-SIM记录的活体SUM细胞生长过程中网格蛋白小泡和肌肉动蛋白之间的作用关系。

 

      总结来看,PRS-SIM大幅提升了结构光照明超分辨显微技术的抗噪声能力,大幅拓展了SIM成像的适用范围,特别是在荧光蛋白效率较低、荧光较弱的条件下,依然可以重建出清晰的超分辨图像。PRS-SIM显著地提高了结构光显微技术的实用性,能够以极低的使用成本、普适性地提升SIM超分辨成像质量,有潜力作为SIM成像流程的常规步骤,被结构光显微成像系统的用户广泛使用。

 

观点评述

 

      本文针对结构光显微技术容易产生伪影的问题,开发了基于像素重排列的重建方法PRS-SIM,在仅需要低信噪比数据的情况下构建训练集,实现超分辨率去噪模型的训练,从而显著去除了重建图像中的伪影。利用PRS-SIM,可以实现对活体细胞的超分辨率的、长时程的、低光毒性的实时在体观测,促进了更多较为敏感的细胞活动的发现。可以说,PRS-SIM大幅提升了结构光显微技术的抗噪声能力,显著拓展了结构光显微技术的应用范围,有着非常重要的实用意义。其在未来有潜力成为SIM成像的一种普适性工具,被结构光超分辨显微成像用户所广泛使用。

 

免责声明:本文旨在传递更多科研资讯及分享,所有其他媒、网来源均注明出处,如涉及版权问题,请作者第一时间联系我们,我们将协调进行处理,最终解释权归旭为光电所有。