Menu 

Menu
  1. 首页
  2. 行业新闻
  3. 成像专题 | 集成化计算成像显微镜助力便携式诊断（Nature Communications）

成像专题 | 集成化计算成像显微镜助力便携式诊断（Nature Communications）

成像专题 | 集成化计算显微技术助力便携式诊断(Nature Communications)

Large depth-of-field ultra-compact microscope by progressive optimization and deep learning

本期导读

光学显微镜是生物学、系统神经科学和临床诊断等研究必不可少的工具，然而大多数传统的台式显微镜组成结构复杂、体积大、成本高，无法在资源有限的环境中使用，严重阻碍了其应用规模和范围。微型化集成技术和深度光学技术的出现，进一步推进了小体积、低成本和高性能成像系统的研究。然而，目前的微型显微镜在简单光学系统中追求大视场（FOV）、大景深（DOF）、高性能显微成像时，仍然面临较大的挑战。
鉴于此，来自清华大学、浙江大学与OPPO手机研究院的研究人员提出了一种渐进优化路线，联合光学设计技术以及基于物理先验的深度学习图像恢复，以满足微型化大视场、大景深条件下的高质量成像需求。基于这种渐进优化路线，报告了一种集成显微镜，其光学性能超越了5×，NA达到0.1的商用显微镜，尺寸和重量仅为0.15cm3和0.5g，比传统显微镜小了5个数量级，并实现了10倍以上的景深扩展，该系统总成本低于10美元，可用于大规模生产，在各种样本中均表现出很好的通用性。此外，由于所提出的集成显微镜体积小、重量轻，可轻易配备到手机中，无需额外任何的配件即可实现便携式的移动诊断应用。该研究于近期发表于期刊《Nature Communications》。

成像专题 | 集成化计算成像显微镜助力便携式诊断（Nature Communications）图1. 该研究于2023年7月发表于《Nature Communications》。

成像专题 | 集成化计算成像显微镜助力便携式诊断（Nature Communications）

技术背景

目前的微型化显微镜在成像性能方面仍然受限。使用简单镜头的方法被限制在亚毫米级的FOV，并有明显的失真，而更大的FOV需要更复杂的镜头组合，导致系统总长度和重量明显增加。尽管基于双光子和三光子的小型化显微镜能够提供深度的光学切片，但它们需要更多专用的光学元件。此外，在有限空间内多个复合透镜的放置使得大多数微型化显微镜的成像是单色的。因此，打破这些限制的集成显微镜设计还有待探索。
最近，并行优化光学设计和图像处理算法的深度光学技术出现了，并有望实现比传统的基于光线追踪的光学设计更优越的性能。深度光学技术已被证明在实现大视场、高动态范围和高光谱成像等方面有突出表现。然而，目前的深度光学技术由于微观应用中越来越大的解空间和像差，对于小工作距离和大FOV的应用仍然是巨大的挑战。此外，大多数用于百万像素级显微图像恢复的深度神经网络需要大量的存储空间和计算资源，这些资源很难分布在实际使用的集成系统中。

成像专题 | 集成化计算成像显微镜助力便携式诊断（Nature Communications）

技术路线

为了克服上述限制，研究人员提出了一种渐进优化路线（图2），首先通过基于光线追踪的优点将严重的非线性和复杂的设计空间限制在一个可行的范围内，并利用深度神经网络算法进校图像恢复。

成像专题 | 集成化计算成像显微镜助力便携式诊断（Nature Communications）

图2.  集成显微镜渐进优化原理总览。（a）高性能集成显微镜的渐进式优化路线。（b）集成显微镜的光学设计草图。（c）集成显微镜中DOE的调制相位。

渐进式优化范式首先通过基于光线追踪的优点将严重的非线性和复杂的设计空间限制在一个可行的尺寸内；然后，集成一个具有立方相位分布的衍射光学元件（DOE）以增强点扩散函数（PSF）的深度不变性，并联合深度神经网络共同优化DOE参数配置。
该研究提出仿真-监督方法实现图像恢复任务（图3），通过图像融合技术获得全聚焦的清晰图像作为目标图像，并建立了一个物理感知模型来模拟集成显微镜的前向成像过程，构建符合真实捕捉的模糊图像作为输入图像，用于神经网络的训练。此外，通过对神经网络模型进行剪枝和压缩以达到轻量化的目的，以便于移动平台的部署。

成像专题 | 集成化计算成像显微镜助力便携式诊断（Nature Communications）

图3. 集成显微镜中的仿真-监督深度神经网络。（a）仿真-监督策略下的训练数据集生成示意图。（b）仿真-监督网络结构示意图，用于从DOE编码的模糊图像中恢复清晰图像。

为了证明移动端的集成显微镜的性能，将手机显微镜和传统显微镜成像效果进行对比。通过拍摄黄花的照片（图4）可以发现，手机显微镜的拍摄图像在样本不同深度的多个位置均表现出清晰的特征，相比之下，传统的显微镜只能在靠近焦平面的一个小区域内获得清晰的特征，失焦位置的特征明显模糊，进一步证明所提出的显微镜在大景深范围内的高性能成像效果。

成像专题 | 集成化计算成像显微镜助力便携式诊断（Nature Communications）

图4. 手机显微镜与传统显微镜实际成像效果对比。

 

为证明所提出的集成显微镜在便携式移动诊断方面的优势，将该显微镜整合到商用手机后用于移动健康监测。通过检测皮肤水分，准确率超过80%，展示了所提出的集成显微镜在基于图像的诊断和高通量筛查方面的巨大潜力。

 

成像专题 | 集成化计算成像显微镜助力便携式诊断（Nature Communications）

图5. 基于手机中集成显微镜的便携式健康监测。（a）内置集成显微镜的手机进行皮肤含水量检测示意图。（b）基于卷积神经网络的含水量检测任务。将手机显微镜拍摄的皮肤图像分为三类，包括干燥、正常和过度水合。（c）护肤前后效果对比以及含水量检测结果。（d）含水量检测任务准确率。通过与电子传感器实际测得含水量进行量化评估，所提出含水量检测方法实现了高精度的检测结果。（e）皮肤护理前后含水量变化示意图。

简要小结：该研究提出了一种融合传统光学设计与计算光学成像的联合设计架构，实现了高性能小型化显微成像系统，并将成像景深提升了10倍以上。通过算法剪枝结合物理先验，该方法具有极强的泛化形并能在手机端高速运行。基于该研究，有望推动集成化计算光学系统设计，为计算光学在自动驾驶、消费电子产品等许多场景应用提供了技术支撑。

论文信息：

  • Zhang, Y., Song, X., Xie, J. et al. Large depth-of-field ultra-compact microscope by progressive optimization and deep learning. Nature Communications, 14, 4118 (2023). 

技术详见：
https://www.nature.com/articles/s41467-023-39860-0
*该技术分享所涉及文字及图片源于发表论文和网络公开素材,不做任何商业用途。

免责声明：本文旨在传递更多科研资讯及分享，所有其他媒、网来源均注明出处，如涉及版权问题，请作者第一时间联系我们，我们将协调进行处理，最终解释权归旭为光电所有。

Excelitas光子探测器Excelitas光子探测器 深度学习赋能下的光学计量：让“老司机”搭上“顺风车”深度学习赋能下的光学计量：让“老司机”搭上“顺风车” 成像专题 | 助力高效且精确地离轴衍射传播计算（Optica）成像专题 | 助力高效且精确地离轴衍射传播计算（Optica） 光学超构表面原理与应用光学超构表面原理与应用 AVESTA TW激光系统AVESTA TW激光系统 Default Thumbnail初大平教授：更佳的3D表面测量技术，“大视场、大高差、异质材料、高精度” Interview with PIs 成像专题 | 超构透镜技术助力快照式复振幅成像 (Sci. Advances)成像专题 | 超构透镜技术助力快照式复振幅成像 (Sci. Advances)