智能成像，助力探索新型光学显微成像模式

光与自然世界的关系是光学的永恒话题。一方面，不断发展的成像设备、更加先进的处理方法帮助人类留住自然世界稍纵即逝的光影信息；另一方面，多学科交叉融合拓展了光学研究的维度，为人类重现和理解微观世界提供了更加丰富多彩的方法。

近年来光学显微成像技术逐渐由传统成像模式进入计算及智能显微成像时代，逐步摆脱以光学成像系统直接捕捉目标图像的成像方式，取而代之的是通过采集数据计算重构的间接成像方式。该方式利用波动光学、几何光学等理论建立成像目标经光学照明直至探测器采集这一完整成像过程的精确正向数学模型，通过求解该正向模型所对应的“逆问题”，继而以计算重构的模式来获得传统显微技术无法或难以直接获得的样品多维高空时分辨信息。其中以数据驱动为代表的深度学习技术和以物理模型驱动为代表的压缩感知技术，改善了实际成像物理过程的不可预见性与高维病态逆问题求解的复杂性，从而也为显微成像技术发展开启了新的大门。

中国科学院西安光学精密机械研究所瞬态光学与光子学国家重点实验室姚保利研究员领导的先进光学显微成像研究团队，在结构光照明显微、数字全息显微、光片荧光显微、双光子荧光显微、光学微操纵、以及智能光学显微计算成像技术与成果转化等方面，经过多年的发展取得了丰硕的成果，建立了具有超分辨率和光学切片能力的SIM仪器、商业化光镊产品。其中，显微成像的智能化可以实现更好的分辨率、更好的系统稳定性和更多成像功能。

近年来，团队结合光片荧光显微成像、结构光照明显微成像、定量相位成像等显微成像领域的新技术与新方法，开展了基于深度学习和压缩感知的光学显微成像技术，不但解决了其中难以解决的成像速度问题，还在成像功能、信息获取维度、性能指标（如成像时间和空间分辨率、信噪比等）上都获得了显著提升，形成了具有高分辨、大视场、三维、快速等特性的新型光学显微成像技术。

深度学习用以减少光学显微成像数据采集量

深度学习是机器学习的重要分支，也是人工智能研究的重要方向。2006年，多伦多大学Hinton等人提出了深度学习的相关概念，自此深度学习受到了全球众多公司、科研机构和高校的关注，各种各样的深度学习算法和应用层出不穷，为科研与经济的发展做出了重要贡献。深度学习已成为数学、计算机技术、电子信息技术、自动控制技术、神经科学等多个研究学科交叉结合并发展的新兴学科，在图像处理、语音识别、计算机视觉等领域有着十分重要的应用。互联网技术的蓬勃发展指引着大数据时代的来临，以数据驱动的深度学习技术无疑是大数据时代的算法利器。

相较于传统的机器学习，深度学习可利用不断增多的数据不断提升其性能；深度学习技术是一项全自动的技术，而非手动特征提取，因此可以从海量数据中直接抽取特征；并且对于不同的任务不再需要设计独特的特征提取器，所有工作都可由深度学习自动完成。深度学习技术已成为大数据时代的一项热点技术，这也是智能化思想逐渐代替人工操作的一个显著体现，因此，深度学习作为一种强有力的工具，在光学显微成像研究中同样也引起了极大的兴趣。

深度学习的核心：自动从大规模数据中学习特征，并把结果向同类型未知数据泛化

为了提高显微成像的速度或减少3D成像所需的数据量，团队研究了基于深度学习的快速计算显微成像方法，先后提出了：

• 快速光片荧光显微增强成像方法。压缩盲解卷与降噪的互补光束相减光片荧光显微成像，可以减少离焦背景，消除成像过程中产生的噪声和模糊。然而，这种成像需要两次扫描，且计算量较大。团队发展了基于深度学习的光片荧光显微成像，通过一次扫描直接从传统的贝塞尔光束光片成像中重建出高质量的图像，从而显著提高成像系统的吞吐量，并有效降低了存储需求和大规模计算的复杂度。

• 转盘共聚焦超分辨三维显微成像方法SRRF-Deep 。转盘共焦显微成像结合超分辨率径向起伏算法可以实现较快速的高分辨三维显微成像，然而是以高数据量采集及高光损伤风险为代价。团队开发一种基于深度学习的转盘共焦显微镜三维成像方法，其高质量的成像切片可以直接从单扫描的转盘共焦显微图像堆栈重建。该方法在不损失成像质量的前提下，数据量减少100倍从而使三维成像时间缩短30倍。
• 全彩宽场光切片显微成像方法FC-WFM-Deep 。大视场高分辨全彩色三维显微成像能够同时实现高分辨、大尺度、快速、三维、彩色和定量分析等六大成像要素，但面临着大数据量采集、处理和存储的挑战。鉴于此，团队将深度学习应用于全彩结构光照明显微成像中，在保证成像质量的前提下，图像采集量减少了约21倍，对实现更大尺寸三维物体的全彩色成像具有重要意义。

 

（左）雏菊花粉和（右）曲霉分生孢子的转盘共聚焦超分辨三维显微成像结果，新方法保证了与SRRF同样的超分辨成像结果，但其数据采集量可降为原始的百分之一

 

不同光学成像模式下的昆虫复眼光切片成像结果，包括全彩宽场显微（FC-WFM）、基于结构光照明的全彩光切片（OS with FC-WFM）和全彩宽场显微光切片（FC-WFM-Deep），新方法在保证光切片质量前提下，显著增加成像景深，继而可降低3D成像所需的数据量

 

压缩感知用以提高光学显微成像分辨率和信噪比

对于典型的光学显微成像系统而言，它主要由照明、样品、成像、探测四部分构成。照明光与样品发生作用后，成为其本质信息（如吸收、相位、光谱、三维形貌、折射率等）的载体，通过对照明与成像系统进行光学调控使物体的本质信息转化为光强信号并由探测器离散采集，最后对整个成像过程进行数学建模并通过相应的重构算法对样品本质信息进行反演，获得样品的图像或其他所感兴趣的高维物理信息。实际上，该类反演通常是一种病态的逆问题求解，往往需要引入被测物体的先验作为正则化手段限定解空间以使其良态化。

对于稀疏信号，压缩感知理论为解决上述问题开启了新的思路。压缩感知的理论突破了奈奎斯特采样定理瓶颈，认为对信号的采样量不取决于信号的带宽，而取决于信号的内部结构。如果信号是稀疏的或者在某个变换域内是稀疏的，那么就可以用一个与变换基不相关并且满足约束等距性的测量矩阵将高维信号投影至低维空间，然后通过求解最优化问题从少量的投影测量中以高概率重构出原始信号。目前该理论已广泛应用于模式识别、信号处理、雷达遥感、图像超分辨率重构、实时医学成像以及模拟信息采样等领域。

 

压缩感知与重构基本原理

团队利用压缩感知技术，研究了高分辨高信噪比显微成像，其中的典型代表如：

• 基于压缩盲解卷与降噪的互补光束相减光片荧光显微成像CBDD 。针对贝塞尔光束的旁瓣在扫描光片荧光显微镜中产生离焦背景，从而限制了轴向分辨率的科学问题，团队将多重压缩感知降噪和盲稀疏解卷进行统一，以显著降低离焦背景，继而结合互补光束相减成像法，可以有效降低双扫描和减背景操作中由于系统不稳定引起的模糊和噪声对图像质量的影响。该方法能有效地抑制噪声，提高信噪比，同时改善成像分辨率，从而提升光片荧光显微镜的成像性能。
• 基于压缩感知的散射介质后定量相位成像。如何克服散射的影响是实现高质量光学成像前沿研究的重要科学问题。利用描述光输入与输出关系的传输矩阵能够有效对散射介质后的目标进行重建成像。然而，现有传输矩阵方法在混浊介质中重构相位信息时存在一定的局限性。团队使用压缩感知来高精度估计出散射成像系统的传输矩阵，随后利用该传输矩阵可以定量地从散射介质后散斑中提取目标相位信息。该方法具有无干涉、视场大等特点，易于实现，在相关领域具有潜在的应用前景。

 

压缩盲解卷与降噪的互补光束相减光片荧光显微成像（CBDD）与贝塞尔光片（BB）、互补光束相减（CBS）光片荧光显微成像比较，可以看出新方法的成像质量显著提升

 

基于压缩感知的散射介质后定量相位成像（Calibratyed-TM）与传统方法（Binary-TM）比较，新方法可在相干照明及部分相干照明条件下对散射介质后目标的相位信息进行高效重建

 

深度学习和压缩感知的联合优化

基于压缩感知的光学显微成像，具有成本低、鲁棒性强、易于建立等优势，同时可重建大视场成像信号，但是，该类方法通常需要很大的计算成本。另一方面，在有限数据量场景下，基于深度学习的计算显微成像技术不能够对数据规律进行无偏差的估计，而注入大量的训练数据则会显著增加成像的计算成本，且当网络过深时，还会造成收敛速度的急剧下降。实际上，压缩感知有很好的结构，而深度学习非常灵活，二者的结构和流程都非常相似，因而也是可以互补的，即形成物理模型驱动数据的新模式。

物理模型驱动是当前深度学习发展的一个重要方向，即在深度学习中嵌入或内蕴特征规则先验，代替单一的纯数据驱动式学习。深度学习是一种标准的数据驱动型方法，它将深度网络作为黑箱，依赖于大量数据解决现实问题；而模型驱动方法则是从目标、机理、先验出发，首先形成学习的一个代价函数，然后通过极小化代价函数来解决问题。模型驱动方法的最大优点是只要模型足够精确，解的质量可预期甚至能达到最优，而且求解方法是确定的；模型驱动方法的缺陷是在应用中难以精确建模。模型驱动深度学习方法有效结合了模型驱动和数据驱动方法的优势。

在此基础上，团队研究了联合压缩感知与深度学习的鲁棒计算显微成像。例如：

• 利用全变分正则化与衬度传递函数可以从单距离相干衍射图像中提取相位图（CTF-TV）。然而，传统方法是基于传统的压缩感知优化问题，在强噪声环境下往往变得困难。团队将卷积神经网络作为正则化项，并联合衬度传递函数实现高性能的相位重建，即形成CTF-Deep新方法。该方法对噪声具有很强的鲁棒性，且可以使实现快速高分辨相位成像。

• 团队还提出了用于双波长同轴数字全息显微成像的非训练神经网络DIDH-Net 。目前用于光学计算成像的神经网络，大多采用有监督的端对端训练策略，需要大量的训练集来优化其权值和偏差。而在双波长数字全息成像中，由于孪生像、扩大噪声以及成像系统稳定性等影响，使得实际应用中不太可能获得足够数量的真值图像用于训练。该项研究通过在传统的深层神经网络中加入一个代表双波长数字全息成像过程的完整物理模型来克服这一局限性，其避免了神经网络的预先训练，从而消除大量标记数据的需要。该方法通过神经网络与物理模型的相互作用，自动优化网络，最终得到目标的相位信息。

 

压缩感知与深度学习联合的鲁棒衬度传递函数相位恢复成像果，新方法显著提高了成像的峰值信噪比

不同方法对（上）蛔虫卵和（下）水蚤后足的成像结果，包括重建相位图及光学厚度测量，新方法显著提高了相位测量的精度

 

总之，智能光学显微成像借助于智能与计算成像技术，能够以简单光学系统获取高性能的影像，从而突破了传统的光学成像模式，赋予了传统显微镜无法具有的新颖成像功能，提供超越传统成像技术与人类视觉的感知力，继而推动新型光学显微成像模式的不断发展。

参考文献：

1. Y. Rivenson, Z. Gorocs, H. Gunaydin, Y. Zhang, H. Wang, and A. Ozcan, “Deep learning microscopy,” Optica 4(11), 1437-1443 (2017)

2. M. Duarte, M. Davenport, D. Takhar, J. Laska; T. Sun, K. Kelly, and R. Baraniuk, “Single-pixel imaging via compressive sampling,” IEEE Signal Proc. Mag. 25(2): 83-91 (2008).

3. C. Bai, C. Liu, X. Yu, T. Peng, J. Min, S. Yan, D. Dan and B. Yao, “Imaging enhancement of light-sheet fluorescence microscopy via deep learning,” IEEE Photonic Tech. L., 31(22): 1803-1806 (2019).

4. C. Bai, X. Yu, T. Peng, C. Liu, J. Min, D. Dan and B. Yao, “3D imaging restoration of spinning-disk confocal microscopy via deep learning,” IEEE Photonic Tech. L., 32(18): 1131-1134, (2020).

5. C. Bai, J. Qian, S. Dang, T. Peng, J. Min, M. Lei, D. Dan and B. Yao, “Full-color optically-sectioned imaging by wide-field microscopy via deep-learning,” Biomed. Opt. Express, 11(5): 2619-2632 (2020).

6. C. Bai, C. Liu, H. Jia, T. Peng, J. Min, M. Lei, X. Yu and B. Yao, “Compressed blind deconvolution and denoising for complementary beam subtraction light-sheet fluorescence microscopy,” IEEE T. Bio-Med. Eng. 66(10): 2979-2989 (2019).

7. T. Peng, R. Li, J. Min, D. Dan, M. Zhou, X. Yu, C. Zhang, C. Bai and B. Yao, “Quantitative Phase Retrieval Through Scattering Medium via Compressive Sensing,” IEEE Photonics J. 14(1): 5006608 (2022)

8. C. Bai, T. Peng, J. Min, R. Li, Y. Zhou, and B. Yao, “Dual-wavelength in-line digital holography with untrained deep neural neTWorks,” Photonics Res., 9(12): 2501-2510 (2021).

9. C. Bai, M. Zhou, J. Min, S. Dang, X. Yu, P. Zhang, T. Peng, and B. Yao, “Robust contrast-transfer-function phase retrieval via flexible deep learning networks,” Opt. Lett., 44(21): 5141-5144 (2019).

来源：中国科学院西安光学精密机械研究所