[文献速递No.110]基于深度学习的相位恢复及自动聚焦

全息技术通过参考波与物体散射光的干涉，对样本的三维信息进行编码。通过干涉过程，全息图的强度值被图像传感器记录下来，同时包含了样品的振幅和相位信息。在三维样本空间中恢复这些物体信息是全息成像技术的主要问题。在全息图像重建过程中，有两个主要步骤。其中之一是相位恢复，因为只有全息图案的强度信息被记录在数字全息图上。无论是离轴全息还是同轴全息，都需要进行相位恢复，以消除重构样品的相位和振幅图像中与孪生像和自干涉相关的伪影。全息图像重建的另一个关键步骤是自动聚焦，其中需要对三维物体不同部分的样本到传感器的距离（即相对高度）进行数值估计。自动聚焦精度对重建全息图像的质量至关重要，它可以使相位恢复的光场能反向传播到正确的物体位置。通常，为了执行自动聚焦，全息图需要传播到不同的轴向距离处，再利用不同的聚焦标准对产生的复值图像序列进行评估。这对于小视场来说也是非常耗时的。此外，如果样本在不同深度有多个物体，则需要对视场中的每个物体重复此过程。

该文中，作者展示了一种基于深度学习的全息图像重建方法。该方法利用单个全息图强度进行自动聚焦和相位恢复，与以前的方法相比，在扩展重建图像的景深范围方面取得了显著进展。同时，该方法显著地降低了全息图像重建算法的时间复杂度，并命名为HIDEF(holographic imaging using deep learning for extended focus)。HIDEF依赖于卷积神经网络。训练数据集包含聚焦的清晰图像块、随机散焦的全息图及其对应的焦内和相位恢复图。总体而言，HIDEF可以同时进行自动聚焦和相位恢复，在计算效率和重建速度上实现了显著提高，并通过扩展重建图像景深范围减轻了光学设备与求解算法中的错配问题，进一步提升了算法的稳健性。

作者提出的神经网络架构如图1所示。这种CNN架构的灵感来自于U-Net，它由下采样和对称上采样组成。通过一系列的下采样操作，网络学习捕获和分离全息输入场在不同尺度下的真像和孪生像空间特征。此外，网络中还加入了跳跃连接（图1中的蓝色箭头），通过残差向前连接传递信息，有助于提高网络的训练速度。在训练阶段，CNN使用自适应矩估计(adaptive moment estimation, Adam)优化器最小化网络输出与目标/参考图像之间的L1范数。基于L2范数的损失函数也可以用于获得类似的结果，但可能会降低重建结果的空间分辨率。

图1 HIDEF网络结构示意图

为了证明HIDEF的性能，作者使用了软撞击表面捕获的气溶胶作为样本，并通过片上全息显微镜成像，其中每个气溶胶散形成的全息图，通过CMOS直接成像，不使用任何镜头。在采样阶段，由于颗粒质量、流速和流动方向的变化，基材上捕获的气溶胶分散在多个深度中。基于此系统，训练图像数据集有176个非重叠区域，仅囊括处于相同深度的粒子，通过旋转0度、90度、180度和270度，使区域数目进一步增加了4倍，达到704个区域。对于每个区域，使用单个全息图强度并将其反向传播到81个随机距离，并使用基于梯度准则的Tamura自动聚焦策略。然后将这些复值光场作为网络的输入。训练阶段使用的目标图像通过多距离相位恢复(MH-PR)进行重建，该方法利用在不同距离上捕获的8个不同的样本全息图，在不同衍射距离执行自动聚焦后迭代恢复样本的相位信息。

在网络训练完成后，在与训练集或验证集没有重叠的样本上测试HIDEF网络，这些样本包含的粒子分布在每个图像视场的不同深度。图2证明了HIDEF的效果，同时，HIDEF实现了景深的拓展以及相位的恢复。对于采集到的气溶胶的全息图（图2(a)），首先将全息图强度反向传播到距离传感器1毫米的平面上，这是根据实验中使用的有效衬底厚度大致确定的。由于传播距离短（约1毫米）且缺少相位信息，该初始反向传播全息图产生了孪生像。将包含真图像和孪生图像的复值光场送入CNN中进行处理。CNN的输出如图2(a)所示，它展示了各种气溶胶颗粒分布在约90微米的轴向范围内的HIDEF结果。除了将单个全息图中包含的所有粒子集中到一个清晰的焦点上之外，该网络还实现了相位恢复。图2(b)和2(c)还将网络输出的结果与标准MH-PR方法进行了比较，该方法使用8个全息图迭代恢复样品的相位信息。结果清楚地表明，相较于多距离相位恢复方法，CNN有效地提升了计算速度。同时，向CNN输入复值场中仅需要大致的传播距离，而不是精确的距离。HIDEF输出图像具有极高的稳定性，无论初始距离如何，HIDEF都可以提供相同的扩展景深图像。

尽管该网络仅使用包含相同深度/平面的粒子的全局散焦全息图块进行训练，但它学会了在同一视场内单独聚焦位于不同深度的各种粒子（图2(a)）。基于这一结果，可以认为HIDEF网络并没有实现全息图视场到焦点平面的自由空间反向传播的物理等效。相反，它在统计上学习输入场的聚焦和失焦特征，对失焦部分进行分割，并以平行的方式将给定的全息图视场替换为聚焦图像的特征，降低了计算的复杂度。

图2 利用HIDEF对不同深度的气溶胶进行扩展景深重建

基于上述论述，如果网络统计样本的焦内和焦外特征，可以认为这种方法应该局限于相对稀疏的对象（如图2所示）。事实上，该网络也可以用于空间连续对象（如组织切片）的全息图。基于图1所示的CNN架构，作者使用1119个全息图块（对应于组织病理学中使用的乳腺组织切片）来训练网络，这些图块随机传播到41个距离。在训练阶段，使用MH-PR图像作为参考值。结果表明，对于任意的、非稀疏的、连通的样本，HIDEF可以同时进行相位恢复和自动聚焦。相比之下，MH-PR重建结果的景深十分有限。随着轴向离焦的增加，MH-PR结果显示出明显的误差。另一方面，HIDEF对轴向散焦具有很强的鲁棒性，能够正确地恢复整个图像的精细特征，在不同的散焦距离下去除孪生像伪影。

为了进一步量化HIDEF的重建质量，作者将网络输出图像的振幅与组织切片正确焦点处的MH-PR结果利用结构相似性(SSIM)指数进行比较（图4）。

该文中的实验结果证明了HIDEF具备同时进行相位恢复和自动聚焦的能力，重建图像的景深至少增加了一个数量级。为了进一步扩展神经网络输出的结果的景深，可以使用更大的网络（具有更多的层、权重和偏差）和/或更多的训练数据，将严重散焦的图像作为学习阶段的一部分。本工作中，作者还训练了第三个神经网络，遵循图1的HIDEF架构，使用包含乳房组织随机散焦全息图的作为训练图像集。图4展示了这个新网络与前一个网络（如图3所示）的性能比较。如图所示，通过使用包含更多散焦全息图的训练图像集，本文中的方法能够将轴向景深扩展到0.4毫米。

图3 HIDEF结果与自由空间反向传播（CNN输入）和多距离相位恢复结果的比较

图4 SSIM值作为轴向离焦距离的评价函数

原文链接：

https://doi.org/10.1364/OPTICA.5.000704