Menu

Menu

新技术! 首次通过集成化衍射神经网络直接提取光瞳相位

“前沿进展”栏目,旨在介绍科研人员在光学领域发表的具有重要学术、应用价值的论文,促进研究成果的传播。部分论文将推荐参与“中国光学十大进展”评选。

01 导读

近日,上海理工大学光子芯片研究院顾敏院士团队提出了一个基于印在成像传感器上的多层衍射神经网络(DN2)的紧凑型光电子系统,能够直接从入射点扩散函数中提取出复杂的瞳孔相位,而无需进行数字后处理。

团队使用激光直写技术证明了这一概念,并展示了对前14个Zernike多项式的任意叠加的直接瞳孔相位提取。该技术创新使得下一代的紧凑型光电波前传感器和成像方法具有较低的计算复杂性和内存占用,可以应用于生物细胞和组织成像等问题。

相关成果以“Direct retrieval of Zernike-based pupil functions using integrated diffractive deep neural neTWorks”为题、于2022年12月发表在Nature Communications上。

2023 | 前沿进展

02 研究背景

获取波前的相位信息是各规模成像系统的核心问题。一方面,这种相位信息可用于相位对比成像,即生物学和医学研究中近乎透明标本的表征,实现活细胞监测和组织成像方面的重大进展;另一方面,光波前不必要的畸变导致了从显微镜到望远镜的任何规模成像系统的性能受限,反之则可以对其进行校正。
因此,整个波前的相位分布可以方便地用Zernike多项式来描述,Zernike多项式是由诺贝尔物理学奖获得者Frits Zernike于1934年首次提出的,用来描述相差显微镜的衍射波前。
Zernike多项式形成了一个完整的函数基础集,能够在数学上描述任意的瞳孔相位分布。因此,这个多项式已被广泛用于各种领域,如:描述天文学中的大气湍流、眼科光学、镜头设计和显微镜。目前的相位提取方案依赖于复杂的数字算法,这些算法处理从精确的波前传感器获得数据,使得重建光学相位信息需要以巨大的计算资源为代价。

03 研究创新点

该团队创新性地开发了一种新的单步方法,通过分析光束路径的点扩散函数(PSF)来提取光路的复杂瞳孔相位,点扩散函数为聚焦光学成像系统对点源的响应。集成衍射深度神经网络(ID2N2)由衍射神经网络(DN2)和一个具备非线性响应激活函数的CMOS探测器模块协同完成。DN2由多个衍射层组成,其中给定层上的每个点作为一个衍射神经元,相应的复值透射系数可以通过使用输入和输出平面之间的神经网络来迭代训练。

随后,将获得的复值PSF作为输入,DN2在近红外(NIR)波长区域进行光学操作,重建强度分布,在输出端可得到相应瞳孔相位的符号和大小。然后,所产生的强度分布被传感器探测到,从而增加了实现具有相位提取能力的ID2N2模块所需的非线性响应性。

通过与标准互补金属氧化物半导体(CMOS)成像传感器的共同集成,这种ID2N2有希望成为新一代的紧凑型光电波前传感器(图1a)。与以前的工作相比,这种新方法是第一次通过实验证明了集成在单个紧凑型光电传感元件中的光学DN2,可直接提取任意瞳孔相位。

新技术! 首次通过集成化衍射神经网络直接提取光瞳相位
图1 集成的衍射深层神经网络(ID2N2)(a)集成在商用CMOS芯片上的衍射神经网络的示意图,用于执行瞳孔相位提取;(b)两个Zernike多项式和前14个Zernike多项式的线性组合的瞳孔相位和ID2N2输出的仿真结果;(c)离焦(Z4)项和相应的PSF强度计算

间接相位提取,即在基于模态的方法中,将焦平面图像或检测到的波前映射到Zernike系数,是目前确定波前相位的最常用方法。而使用人工神经网络的直接相位提取,即直接提取波前误差,可以达到相对较高的精度。这种更高的精度需要复杂的计算步骤,占用大量内存,并且需要使用专门的CCD相机系统来重建轴向对称像差的符号。

该团队所提出的DN2,则是通过全光推理直接在光学中处理复值PSF(图1b)。在一个紧凑的光电设备中直接重建传入的瞳孔相位,包括轴向对称项的大小和符号(图1c)。通过获取在光电子转换过程中所忽略的丰富多样的光学信息,如信号相位、频谱或光学轨道角动量,本工作中提出的光电子混合解决方案为基于ON2的新一代高度集成系统提供了可行性路线,并且它可以比传统的数字神经网络更快、更有效和更稳健地执行光学域中信息的推理任务。

该团队使用基于计算机的机器学习方法来训练具有纳米级特征大小的多层DN2,它能够识别失真PSF并直接进行相位检索。使用双光子光刻技术(TPN)(图2a),一种最先进的激光三维纳米打印技术,研究人员制造了ID2N2模块,用于在近红外区域工作,其神经元密度超过每平方厘米5亿个,高度分辨率低至10 nm(图2b和图2c)。

新技术! 首次通过集成化衍射神经网络直接提取光瞳相位
图2 集成在CMOS上的多层衍射神经网络纳米级的DN2通过TPN方法 (a)直接在CMOS传感器上进行物理3D打印;(b)激光打印的DN2的扫描电子显微镜(SEM)图像;(c)带有通过TPN方法3D打印的DN2的索尼IMX219NoIR CMOS传感器照片

这些纳米打印的DN2,其纳米级的特征尺寸不仅提升了神经元密度,并使DN2能够在可见光和近红外波长系统中处理信息,而且通过宽衍射角和短执行距离它还能够实现设备的高度紧凑化

04 总结与展望

该团队提出的ID2N2模块可作为一个紧凑的相位传感元件,共同集成在现成的CMOS传感器上,单步即可提取瞳孔相位。ID2N2与电子网络的结合将提高相位提取系统的性能,通过利用衍射网络的光学预处理的优势,如分辨瞳孔相位的符号的能力,减少对计算资源和多个传感器的要求。

光电融合的解决方案为构成新的高度集成的基于ON2的系统奠定了基础,它比传统的数字神经网络更快、更有效、更稳健地执行对光学域原生信息的推理任务。ID2N2将复杂的输入光束映射成表示输入光束瞳孔相位的二维强度图的能力对自适应光学的像差校正、数据处理和传感的像差校有着变革性的影响,并对开发计算复杂度和内存占用率低的定量相位成像方法至关重要,如:可应用于生物细胞和组织成像问题等。

论文通讯作者为顾敏院士、Elena Goi博士,上海理工大学为第一单位。顾敏院士指出,该突破有望在精准医疗中得到应用。

论文链接

https://www.nature.com/articles/s41467-022-35349-4

免责声明:本文旨在传递更多科研资讯及分享,所有其他媒、网来源均注明出处,如涉及版权问题,请作者第一时间联系我们,我们将协调进行处理,最终解释权归旭为光电所有。