Menu 

Menu
  1. 首页
  2. 行业新闻
  3. 深度学习实现彩色PIE无透镜显微成像（Optics and Lasers in Engineering）

深度学习实现彩色PIE无透镜显微成像（Optics and Lasers in Engineering）

深度学习实现彩色PIE无透镜显微成像

Deep learning colorful ptychographic iterative engine lensless diffraction microscopy

本期导读

Ptychographic 迭代法 (PIE) 是一种用于相干无透镜衍射成像的算法。它可以通过移动光源或生物医学病理样本载玻片来无限制地扩展成像视场，极大地促进了低成本大视场 (FOV) 无透镜显微镜系统的发展。在 PIE无透镜显微成像系统中，照明光需要具有部分相干性，难以采用白光等混合光照明。因此，如果要获得彩色显微镜图像，传统 PIE 无透镜显微成像系统中需要 3 个以上具有不同主波长的照明光源，大大增加了图像数据、PIE迭代计算时间和系统的复杂性。
来自南京理工大学、苏州市立医院、苏州大学、中科院长春光机所和浙江大学的联合研究团队，提出了一种基于深度学习颜色转移方法的改进 PIE，以实现单色照明光下的彩色大视场无透镜显微镜成像。该方法仅使用一个部分相干光源，采集的图像数据比传统彩色 PIE 显微镜在多色照明下的图像少三倍。通过深度学习颜色转移方法增强的单色照明的彩色 PIE 显微镜将有助于开发低成本的大视场无透镜显微镜。该研究的方法与结果以论文形式发表于光学学术期刊《Optics and Lasers in Engineering》上。

Image

图1  PIE无透镜显微成像方法原理图。(a) PIE无透镜显微成像系统图；(b) PIE无透镜显微成像示意图；(c)（相对）孔径平移路径图。

Image

图2 单色照明的彩色 PIE 显微成像算法流程示意。

Image

技术路线

该研究主要包含两部分研究内容：

       1. 单色照明PIE无透镜成像系统的数据采集与恢复。

Image

图3  PIE迭代恢复无孪生像显微图像

图 3 是PIE迭代恢复无孪生像显微图像的示意图。与夫琅禾费衍射 PIE 不同，该研究的 PIE 无透镜显微成像方法基于菲涅耳衍射。病理切片与 CMOS 图像传感器之间的间隙仅为 ~0.5-1mm。圆形光阑和 CMOS 图像传感器的 x-y 坐标/位置是固定的。而病理组织幻灯片沿 x-y 轴精确移动。这些 x-y 位移相当于圆形孔径的位移。每个相邻孔径对的面积重叠为 80%。当等效光阑位于第一个位置时，CMOS 图像传感器沿 z 轴移动约 50μm 以记录 2 个不同的散焦全息图，它们将执行强度传递方程 (TIE) ，以获得PIE迭代的初始化值。然后，当等效孔径移动到新的 x-y 位置时，CMOS 图像传感器会记录相关的菲涅耳衍射图案。不同位置的菲涅尔衍射距离均由自动聚焦（autofocus）算法标定得到。等效孔径的位移，也由图像相关算法标定得到（准确度为像素级）。最后，执行PIE迭代算法。
2.  深度学习：基于GAN深度学习建立单色灰度图像与虚拟彩色图像的映射关系。

Image

图4 基于GAN框架的深度学习色彩迁移示意图

Image

实验结果

Image

图 5 无透镜大视场彩色PIE显微成像结果。成像区域为12mm*7.9mm。黄色比例尺大约1.5mm。

Image

图6  图像对比：单色灰度 PIE 显微图、彩色 PIE 显微镜和常规 RGB 明场显微图像。左上角的黑色比例尺约为 200 μm。幅值图像的灰度为 [0, 255]。

Image

图7 彩色 PIE 显微图像和传统 RGB 明场显微图像的视觉比较。左上角的黑色比例尺约为 200 μm。

  • 结论

该研究提出了一种基于深度学习的计算颜色转移方法来增强 PIE 无透镜显微镜。仅在一种准色光照明下， PIE 无透镜显微成像系统实现彩色显微镜成像。实验和数据表明，仅 G LED 照明下的 PIE 无透镜显微系统，经过深度学习颜色转移方法增强后，获得了能够与彩色明场商用显微相媲美的彩色图像，这证明了所提出概念的有效性和稳健性。通过深度学习颜色转移方法增强的彩色 PIE 显微镜将有助于开发低成本的超大视场无透镜显微镜。
论文信息：
  • Y. Bian, Y. Jiang, J. Wang, S. Yang, W. Deng, X. Yang, R. Shen, H. Shen, and C. Kuang, Deep learning colorful ptychographic iterative engine lens-less diffraction microscopy, Optics and Lasers in Engineering, Volume 150, 2022, 106843, 

技术详见：

https://doi.org/10.1016/j.optlaseng.2021.106843.

本文注明来源为其他媒体或网站的文/图等稿件均为转载，如涉及版权等问题，请作者在20个工作日之内联系我们，我们将协调给予处理。最终解释权归旭为光电所有。

激光大气运动参数测量技术研究进展及展望激光大气运动参数测量技术研究进展及展望 高速三维测量，让稍纵不再即逝高速三维测量，让稍纵不再即逝 深度学习赋能下的光学计量：让“老司机”搭上“顺风车”深度学习赋能下的光学计量：让“老司机”搭上“顺风车” 大面积消色差平面透镜大面积消色差平面透镜 基于铌酸锂薄膜的超快可调激光器基于铌酸锂薄膜的超快可调激光器 一维光子晶体中的三维拓扑态一维光子晶体中的三维拓扑态 无标记定量相位三维显微成像的新范式——光强传输衍射层析无标记定量相位三维显微成像的新范式——光强传输衍射层析