《Light封面综述》：深度学习助力相位恢复

撰稿｜香港大学 博后研究员 王凯强

研究背景

 

“光”通常是指人类眼睛可以见到的电磁波，即可见光。当然，有些非可见光也可以被称为光，如紫外光、红外光、X光。作为电磁波，光具有两个重要的基本属性：振幅和相位。一般来说，图像传感器与人眼利用光电转换效应来感知和记录强度分布，其与光场的振幅平方成正比。

然而，由于采集频率远低于光波的频率，光场的相位信息无法被直接捕捉和记录。在很多应用环境中，光场的相位分布携带了样品的关键信息，如弱吸收透明样品的厚度或折射率分布，大气湍流扰动导致的畸变波前分布，以及不透明样品的表面轮廓分布等。

幸运的是，轴向的相位延迟会随着光场的传播引起径向的强度分布变化。因此，使得我们可以从相机记录的强度分布中“恢复”出相应的光场相位分布，即相位恢复（phase recovery）。实际上，相位恢复在不同领域中有着不同的叫法，如生物医学成像领域的定量相位成像（quantitative phase imaging），相干衍射成像领域的相位检索（phase retrieval），以及自适应光学领域的波前传感（wavefront sensing）。

导读

 

近年来，人工智能方法，尤其是以神经网络为载体的深度学习，为包括相位恢复在内的计算成像问题提供了前所未有的支持。最近，来自香港大学、西北工业大学、香港中文大学、广东工业大学和麻省理工学院的研究团队在Light: Science and Applications上发表题为“On the use of deep learning for phase recovery”的封面综述，对基于深度学习的相位恢复与处理方法进行了全面的梳理和展望。论文的第一作者和通讯作者是香港大学王凯强博士，通讯作者还包括香港大学林彦民教授和西北工业大学赵建林教授，其他主要作者包括香港中文大学周仁杰副教授、广东工业大学邸江磊教授、以及麻省理工学院乔治·巴巴斯塔西斯教授等。论文还发布了一个实时更新的相位恢复共享资源（https://github.com/kqwang/phase-recovery）。

主要研究内容

 

一、为何需要相位恢复？如何进行相位恢复？

一种最理想的情况是：如果传感器平面上光场的复值分布（包括振幅项和相位项）是已知的，可以使用基于物理模型的数值传播方法直接计算出样本平面上的复值分布（如图1a）。然而，实际上，传感器只能记录振幅项而丢失相位项，所以样本平面上的复值分布通常无法直接算得（图1b）。也就是说，从强度测量中直接恢复光场的复值分布（包含相位项）通常是不适定的（ill-posed），属于一种反/逆问题（Inverse problem）；可以理解为：在求解一个方程个数小于未知量个数的方程组。

图1 从传感器平面上的复值分布或强度分布中计算样本平面上的复值分布。(a)样品平面处的复值分布可以从传感器平面上的复值分布直接算出，(b)样品平面处的复值分布无法仅根据传感器平面上的强度分布直接算出。U：复值分布，A：振幅项，θ：相位项。图片来自该文。

一方面，可以通过引入额外的信息将其转换成一个适定问题，例如全息干涉法使用额外的已知光场作为参考光，夏克-哈特曼波前传感法使用额外的微透镜阵列作为相位梯度到焦点位移的转换器，强度传输方程法使用了额外的离焦强度信息。另一方面，可以用一定的约束或先验知识逐步从强度测量中迭代地“检索”出正确的光场相位分布，即相位检索法。

图2 同轴全息术。图片来自该文。

图3 离轴全息术。图片来自该文。

全息干涉法主要包括同轴全息术和离轴全息术。同轴全息术从具有不同相位延迟的多幅全息图中直接计算出光场的相位分布（如图2），而离轴全息术通过频域滤波的方式消除孪生像并恢复光场的相位分布（如图3）。

图4 夏克-哈特曼波前传感法。图片来自该文。

夏克-哈特曼波前传感法从几何光学的角度通过微透镜阵列的焦点偏移量推算出各区域的相位梯度，进而通过积分求出整个光场的相位分布（如图4）。

图5 强度传输方程法。图片来自该文。

强度传输方程法通过焦平面及其附近的强度图计算强度的轴向微分，并将其代入强度传输方程以直接算得相应的相位分布（如图5）。

图6 交替投影相位检索法。图片来自该文。

相位检索法以交替投影算法为代表，通过光场传播方程在两个或多个平面之间交替传播/迭代，并在每次迭代中使用约束或先验知识更新光场，逐渐缩小解空间，直至“检索”出正确的光场相位分布（如图6）。作为交替投影算法的进一步拓展，可以从轴向、径向和角向三个维度采集更多强度图作为额外的正则化约束，从而进一步降低相位检索的不适定性，获得更精确的结果（如图7）。

图7 高阶交替投影相位检索法。(a)轴向多强度法，(b)径向多强度法，(c)角向多强度法。图片来自该文。

二、深度学习助力相位恢复

基于深度学习的相位恢复方法的整体思路是：使用深度神经网络直接执行相位恢复（输入强度图，输出相位图），或参与相位恢复或处理过程中的部分环节。根据深度神经网络被使用的不同位置，论文从以下四个视角回顾了基于深度学习的相位恢复与处理方法。

1.深度学习预处理法（见论文第二部分）：在相位恢复前，使用深度神经网络对测量强度图进行一些预处理，例如像素超分辨（如图8a）、降噪、全息图生成和自动对焦。

2.深度学习参与执行法（见论文第三部分）：一方面，可以使用深度神经网络直接执行相位恢复（图8b），即输入测量强度图，输出相位图；另一方面，可以使用深度神经网络与物理模型（或基于物理模型的算法）联合执行相位恢复。

3.深度学习后处理法（见论文第四部分）：在相位恢复后，使用深度神经网络进对相位图进行一些后处理，例如降噪（图8c）、分辨率增强、像差校正和相位展开/解包裹。

4.深度学习相位处理法（见论文第五部分）：以恢复的相位图作为输入，使用深度神经网络进行一些特定的应用，例如分割（图8d）、分类和成像模态转换。

图8 基于深度学习的相位恢复与处理方法。(a)深度学习预处理法，(b)深度学习参与执行法，(c)深度学习后处理法，(d)深度学习相位处理。图片来自该文。

结论与展望

 

论文从数据集、神经网络、损失函数、可解释性、不确定性等方面对基于深度学习的相位恢复方法进行了总结和展望。此外，还讨论并展望了如下问题：数据驱动神经网络法和物理模型串联神经网络法的优缺点、从电子神经网络到光学神经网络以及硬件成像系统的固有缺陷。

作为补充和拓展，论文发布了一个关于相位恢复的实时更新共享资源：https://github.com/kqwang/phase-recovery，汇总了与相位恢复相关的研究人员或团队、公司或制造商、研讨会或课程、研究论文、综述论文、著作书籍、硕博论文。欢迎各位老师和同学们共同完善和维护。

主要作者

 

 

王凯强，第一作者和通讯作者，香港大学博后研究员。主要研究兴趣是计算成像和深度学习，相关研究工作发表于Light: Science and Applications、PhotoniX、Advanced Photonics Nexus、Optics Letters等学术期刊。个人主页：https://kqwang.github.io/

 

赵建林，通讯作者，西北工业大学教授，中国光学学会(COS)会士(Fellow)。主要从事光场调控、成像及信息感知方面的研究。主持国家自然科学基金重点项目、国家重大科学仪器研制项目、科学仪器基础研究专项、国家重大研究计划课题、国家重点研发计划课题等多项，发表SCI收录论文500余篇，授权国家发明专利50余项，出版国家级光学教材3部，获陕西省自然科学奖一、二等奖，入选爱思唯尔“中国高被引学者”。

 

林彦民，通讯作者，香港大学教授，美国光学学会(Optica)会士(Fellow)、国际光学工程学会(SPIE)会士、电气电子工程师学会(IEEE)会士、成像科学与技术学会(IS&T)会士、英国物理学会(IOP)会士、香港工程师学会(HKIE)会士。主要研究兴趣是计算成像的算法、系统和应用。个人主页：https://www.eee.hku.hk/~elam/

文章信息

 

Kaiqiang Wang, Li Song, Chutian Wang, Zhenbo Ren, Guangyuan Zhao, Jiazhen Dou, Jianglei Di, George Barbastathis, Renjie Zhou, Jianlin Zhao & Edmund Y. Lam. On the use of deep learning for phase recovery. Light Sci Appl 13, 4 (2024).

 https://doi.org/10.1038/s41377-023-01340-x