深度学习+自适应光学技术，性能BUFF加成！

胡逸雯¹，刘鑫¹，匡翠方^1,2，刘旭^1,2，郝翔¹

1 浙江大学光电科学与工程学院

2 之江实验室智能感知研究中心

自适应光学（AO）一种校正光学波前误差的技术，在地基望远镜、生物成像、人眼像差校正、激光通信等领域中已经有了广泛的应用。与此同时，深度学习技术具有快速、准确的优点，为各个领域带来了全新的方法。因此，近年来产生了许多通过将AO与深度学习相结合来提升AO系统性能的方法。

与深度学习相结合的AO可根据有无WFS分为两个大类：

无WFS型具有结构简单、成本低的优点，可以分为单张图像型和相位差型。单张图像型仅利用单张图像恢复波前，但由于强度图像与相位呈一对多的映射关系，因此计算结果不够准确；相位差型是根据两张已知相位差的图像恢复波前，相比于单张图像型更为准确。利用深度学习可以提高无WFS型AO技术的实时性。

有WFS型AO方法，例如移相干涉WFS、夏克-哈特曼WFS（SHWFS）、金字塔WFS（PyWFS）等。其中基于SHWFS的方法较多，它们利用深度学习网络进行加速并进一步提升质心定位精度和波前重构精度，实现更加准确的相位恢复；干涉WFS型AO技术则可通过深度学习实现快速降噪和波前恢复，提高计算精度和效率；PyWFS型AO技术利用深度学习实现波前的非线性重建，可在提高动态范围的同时保持高灵敏度。除此之外，基于其他传感器的波前测量方法也逐步与深度学习技术结合。

深度学习神经网络构架

神经网络和机器学习的诞生可以追溯到1957年，Rosenblatt开发了感知机即大脑神经元的简化数学模型。感知机实验的成功使许多科学家都相信，创造像人类一样思考的机器是可以实现的。

然而，人们很快就发现感知机无法解决一系列问题，其中最著名的例子是异或。相比于或算子，异或运算符不能线性分离，这导致感知机的处理效果不理想。因此，在很长一段时间内，几乎没有人愿意投入时间或金钱进行相关的研究。

直到20世纪80年代，人们才慢慢意识到多层感知机能够解决或者部分解决单层感知机存在的问题，此时基于神经网络的机器学习方法重新引起了人们的关注。后来，AlexNet模型在 ImageNet大规模视觉识别挑战中取得了压倒性胜利，基于神经网络的围棋程序AlphaGo击败了世界级专业棋手，人们对神经网络的研究兴趣持续增长。

近年来，各种各样的神经网络架构逐渐被开发出来，如多层感知机也被称为全连接神经网络，图 1（a）所示，虽然仅由全连接层组成的神经网络有一定的学习能力和非线性拟合能力，但它们在处理更复杂的数据（如图像）时表现不佳；卷积神经网络（CNN），图 1（b）所示，是深度学习神经网络的一种类型，被广泛应用于图像处理领域；残差神经网络（ResNet），图 1（c）所示，解决了深度神经网络退化的问题；U-Net网络，如图 1（d）所示，主要应用在医学图像处理方面；Inception型网络，如图1（e）所示；以上这些架构都属于CNN的变体。而递归神经网络（RNN）的变体即长短期记忆（LSTM）网络，如图 1（f）所示，常用于处理与文本和序列相关的问题。它不仅具有记忆性，还能够解决梯度消失的问题。

图1 常用的人工神经网络模型。（a）全连接神经网络；（b）卷积神经网络；（c）残差网络；（d）U-Net架构；（e）Inception 架构；（f）长短期记忆网络

无WFS型AO技术

传统无WFS型AO技术的波前恢复算法包括迭代变换法和参数法。迭代变换法包括随机并行梯度下降算法、模拟退火算法、遗传算法、混合输入输出算法和 Gerchberg-Saxton算法。然而，这些方法通常需要通过大量的迭代和测量才能获得准确的波前校正结果，因此它们难以应用于实时像差校正系统。参数法通过建立目标函数来校正参数化的波前误差，然后用非线性优化方法最小化目标函数。

这两类迭代方法都很耗时，不适用于对效率要求很高的场景。此外，这些方法的结果部分依赖于迭代变换过程中所需的原始值，存在停滞问题。

为了克服传统无WFS型AO系统速度慢、精度低的缺点，Angel等人最早利用人工神经网络来获取大气湍流干扰信息，确定低阶像差，同时解决了传统 WFS在波前不连续情况下难以使用的难题。随着湍流效应的增强，目前有更多复杂的神经网络应用于AO领域，可实现像差校正。

单张图像型

单张图像型AO技术，即基于单张图像测量波前误差。传统无WFS型AO技术的波前恢复效果依赖于算法迭代变换过程中所需的初始值，因此如何确定更优的初始值是研究热点之一。

针对此问题，2018年基于深度学习寻找优化算法的波前初始估计方法被提出。但是，由于传统的迭代优化算法较慢，该方法仍然存在难以实时补偿波前的问题。

因此，除利用深度学习对传统算法的初始相位进行优化之外，还可以直接利用深度学习算法获取像差，训练完成后的网络能够实现比传统算法更快的波前恢复。应用于生物组织成像的无WFS像差校正方法，用于天文方面像差校正的CNN7，应用于自由空间光通信的基于单幅光瞳平面强度图像恢复波前的方法，基于迁移学习的无WFS波前重建方法等先后被提出。

相位差型

相位差型AO技术通过采集焦面和离焦面的图像信息来唯一确定输入平面上光场的相位分布，具有结构简单、易于实现的优点，且检测精度高、对环境要求低。

2019年，研究人员利用改进后的AlexNet建立了光强图像与泽尼克系数之间的关系以进行像差校正，选择了一对聚焦和离焦的强度图像作为网络输入。结果表明，基于CNN的AO补偿极大地提高了Strehl比。

除直接利用聚焦和离焦的强度图像来获取泽尼克像差系数的工作之外，还有在对聚焦和离焦图像进行预处理后再对像差进行校正，实现了深度学习神经网络结构的简化。如基于特征的波前恢复方法（算法原理如图2所示），其精度比传统的迭代相位恢复方法略低，但网络结构简单，计算量较小，具有较高的效率和鲁棒性。

图2 基于特征的波前恢复方法示意图

针对扩展目标的像差校正，2022 年一种基于注意力的AO方法被提出，该方法将非局部模块与CNN相结合，基于扩展目标的聚焦图像和离焦图像恢复了泽尼克像差系数。此处的非局部模块可以通过计算图片中任意两个位置的相互作用来直接捕获长距离依赖关系，是一个很好的特征提取器。该方法先拼接聚焦与离焦的两幅图像，利用非局部网络进行特征提取，然后用CNN将提取到的特征映射到泽尼克系数。但是该方法的扩展对象是从MNIST数据集中选取的，当扩展对象改变时，相应的网络可能需要重新训练。

有WFS型AO技术

基于SHWFS

传统 SHWFS利用透镜阵列获取波前信息，入射到透镜阵列上的波面被分割为若干子波，每个子波被对应的微透镜会聚于焦点，然后分别成像到相机上，经过处理可以计算得到光斑重心位置，从而获得入射波前的斜率信息，再利用波前恢复算法重构波前。其中，影响待测波前精度的主要因素是光斑质心位置的计算精度和波前重构精度。

2006年，研究人员首次将神经网络与SHWFS相结合，提出了一种利用人工神经网络基于SHWFS光斑位移获取像差泽尼克系数的方法。受该方法的启发，近年来出现了众多将深度学习与SHWFS相结合的方法，如适用于极端情况下AO系统的SHWFS质心计算方法（SHNN）。

除利用深度学习提高光斑质心位置的计算精度之外，也有研究者利用深度学习提高波前重构精度。如利用SHWFS的斜率分布图直接输出相位图而改进后U-Net架构、使用密集块结构的ISNet架构、基于学习的SHWFS（LSHWS）方法、基于改进后ResUnet的SH-Net方法、基于PSF图像得到波前的两步波前检测方法、将盲去卷积和深度学习相结合的SHWFS图像处理方法等先后被提出。

基于其他WFS

SHWFS的子孔径较多，因此其不太适用于弱光条件。相比之下，PyWFS也称棱锥传感器，可将光分为较少数量的子光束，因此可以探测光强较弱的天体，是一种很有前途的天文学WFS。但与SHWFS相比，目前 PyWFS与深度学习结合的技术还未引起人们的广泛关注。

为了扩大PyWFS的动态范围，同时保持灵敏度，与PyWFS相类似的是广义光学微分WFS（g-ODWFS）。2020年，Landman等提出一种将g-ODWFS与CNN和矩阵向量乘法（MVM）模型相结合的方法实现了大像差的校正。但是，该方法的实际应用仍然具有挑战，需要后续进一步的改进。

基于衍射神经网络的AO技术

深度学习作为人工智能技术的一个重要分支，已经在各个领域中有了广泛的应用。上述提到的方法都是基于计算机的深度学习技术，网络的训练、验证及测试过程均在计算机上完成。2018年，一种新型的全光衍射深度神经网络被提出，该网络的训练由计算机实现，训练完成后的网络由3D打印的衍射层构成，可以以光速完成神经网络的推理过程。相比于传统神经网络，该方法具有直接以光速进行信息处理、能耗低的优点，在短短几年的时间内得到了快速发展。

图3所示为这种新型衍射神经网络的结构。对应于传统神经网络中可学习的权重和偏置，衍射神经网络的权重及偏置分别代表光相位和振幅的改变（与层和层之间的距离有关）及衍射层透射或反射系数。需要注意的是，衍射神经网络的偏置与传统神经网络的偏置不同，传统神经网络中的偏置是与加权数据相加，而衍射神经网络的偏置是与加权数据相乘。虽然衍射神经网络具有与传统神经网络相似的结构，但是衍射神经网络并不能实现传统神经网络的参数优化，因此训练过程仍然需要通过计算机来完成。

图3 衍射神经网络

近年来也有一些工作通过结合新型衍射神经网络技术进行波前恢复。2022年，一款基于多层衍射神经网络打印在成像传感器上的紧凑光电模块被开发出来，该模块能够基于入射PSF 直接恢复光瞳的相位分布。该方法提出的集成衍射深度神经网络将四个衍射光学元件与成像传感器的非线性检测相结合，实现了具有相位恢复能力的混合光电集成深度神经网络。该方法的输入为复值PSF，输出为光瞳平面的相位。与基于计算机的神经网络不同，该网络采用非线性激活函数作为网络的最后一层。

受衍射深度神经网络的启发，2023年，研究人员开发了一个可以实时校正波前的衍射AO系统（DAOS）。该方法直接以未经处理的波前作为输入，经过一组透射衍射层后，输出校正的光场图像，无需波前传感和波前重建。

虽然衍射神经网络具有无源、计算速度快等优点，但是需要注意的是，一旦制造出无源器件，衍射神经网络的物理参数将不会改变，因此在设计过程中必须充分考虑应用场景。另外，衍射层之间应尽量对准以降低装配造成的与理论设计之间的误差。衍射神经网络目前并不能完全替代基于计算机的神经网络，其物理参数的设计仍需依赖传统的基于计算机的技术。

小结

在未来，我们相信，深度学习将与其他技术（如强化学习）相结合并应用于其他类型的传感器（如PyWFS）中，其优势得到进一步发展。同时，AO也将与新型光学神经网络相结合，进一步提升其性能。除此之外，目前大多数工作是基于仿真数据进行测试的，因此还需要进一步评估其在实际应用中的表现。同时，除了对点源波前误差的校正研究之外，对扩展源波前误差的探测也是未来的研究方向。