大规模计算重建:计算成像的必由之路
文章链接:边丽蘅, 李道钰, 常旭阳, 索津莉. 大规模计算重建理论与方法[J]. 激光与光电子学进展, 2023, 60(2): 0200001
光学成像是人类认识、感受与分析世界的重要途经。近年来,现代光学对多维度、多尺度成像探测的迫切需求日益增长,“所见即所得”式的传统光学成像方式逐渐难以满足应用要求。在此背景下,计算成像技术应运而生。通过将多维多尺度光场信息压缩编码为低维采集数据,并采用计算方法解码重建目标的光场信息,可以有效提升光学系统对物理世界的信息采集能力。计算成像系统的空间带宽积已逐渐达到十亿甚至百亿级别,为顺应数据爆炸时代的发展需求,亟需高精度、低复杂度以及能够适用于不同计算成像系统的大规模重建方法。
最早的交替投影算法(Alternating projection, AP)由Gerchberg 和Saxton 在1972年开创,其算法架构如图1(a)所示。该算法受能够获取空间域强度和频域强度的电子显微的启发,其在空间域和傅里叶域之间交替变换,并施加相应约束,最终重建出目标信息。如今该方法的泛化性已被进一步拓展,并成功应用于单像素成像等其他计算成像领域。图1(b)-(d)展示了交替投影优化算法的变体形式(由Fienup等人在1978年提出),他们进一步放松了原始算法的约束条件,加快了收敛速度并提升了性能。
傅里叶叠层显微成像技术(Fourier Ptychographic Microscopy, FPM)是由康涅狄格大学Guoan Zheng提出的一种低成本超分辨显微技术。它基于频域中的移位对应于空域中的角度变化的原理,利用不同角度的LED光源照亮样本,捕获的图像对应于频域不同子孔径的信息。通过交替投影算法对相位信息进行恢复,最终实现了约10 亿像素、120 mm2 视场的高空间带宽积成像。交替投影算法在FPM中的实现步骤如图2(a)所示。首先使用测量值的平方根作为复数目标的初值,之后迭代地在傅里叶域施加孔径支持域约束和在空间域施加测量值约束。
相干衍射成像(Coherent Diffraction Imaging, CDI)技术起源于人们对非晶体材料结构观测的需求。它于1999年由加州大学洛杉矶分校Jianwei Miao提出,是一种新颖的无透镜成像技术。CDI 技术使用相干或者部分相干光穿透样本,从而样本波前会受到调制,在不同厚度或者折射率突变的地方发生传播方向的改变。最后再使用交替投影算法从强度图像中恢复目标相位,即可重建出目标的分布。交替投影算法在CDI中的实现步骤如图2(b)所示。其在空间域和傅里叶域之间投影迭代,并在空域使用非负约束(即样本分布密度不能为负),在傅里叶域中施加测量值约束。
深度图像先验(Deep Image Prior, DIP)是随着深度学习技术兴起的一种神经网络与传统优化联合重建的范例。它突破了神经网络模型需要大规模训练的估摸模式,使用卷积神经网络自身的模型架构与连接方式作为图像生成先验,形成了一种高效高精度的图像重建框架。DIP的发明验证了人为设计的神经网络结构本身能够获取到低维图像的统计信息,这启发了以深度神经网络作为图像生成模型与物理模型优化联合的研究。图3展示了DIP的算法架构,在数学形式上,其目标函数可表示为:
其中Net为神经网络,θ为网络参数,z为神经网络的输入信号,y为测量信号,f为正向成像模型。输入信号z可以是随机噪声、测量信号或利用其他方法求解的初始值。DIP通过优化网络参数θ获得重建图像,其计算复杂度与mini-batch为1的端到端深度学习训练阶段相同,适用于较大规模计算重建。相比于端到端训练的深度学习方法,DIP无需预训练,因此对于缺少大规模数据集的计算重建任务更加鲁棒,泛化性更强。
目前,DIP已被广泛应用于各类计算成像任务,包括相位成像和相位解包裹等,如图4所示。DIP需要特定的迭代次数以达到收敛,过少或过多的迭代次数会带来欠拟合与过拟合现象导致成像质量较低,所以研究DIP网络的收敛性与最佳收敛方法具有重要的意义。目前,对DIP的后续研究则集中在神经网络架构、网络与传统图像先验的联合、多网络并行优化等方面。总的来说,探究更适合DIP的轻量级网络结构与优化方法是未来研究的重点。
如今,即插即用算法在图像去模糊、超分辨、相位恢复、核磁共振成像、光学断层重建、压缩感知重建等众多任务中取得了令人满意的重建效果和强大的泛用性,如图5(b)-(c)所示。即插即用方法未来的研究热点和发展方向包括但不限于先进的优化架构、轻量级高精度的图像去噪/图像增强网络以及算法泛化性的进一步探索等。
大规模计算重建需同时满足高精度、低复杂度以及适用不同系统的灵活性的要求。我们在这里梳理的三类方法在一定程度上实现了大规模计算重建,但由于成像时空分辨率需求和现有计算效率的固有矛盾,难以实现对目标的实时大规模观测。综合考虑现存技术瓶颈,未来将现有研究与迁移学习、自适应重建以及专用先验的设计结合,有望进一步促进本领域的发展,形成更准、更快、更灵活的大规模计算重建方法。
边丽蘅,北京理工大学长聘副教授、博士生导师,长期从事智能光电感知领域的研究,主持国家自然科学基金面上项目、重点项目课题、国家重点研发计划课题等项目,出版“十四五”国家重点出版物专著1部,在Nature旗下LSA、eLight等期刊发表SCI论文40余篇,获授权国内外发明专利20余项,入选中国科协青年人才托举计划、北京市优秀人才培养资助计划,获公安部科学技术一等奖、中国指挥与控制学会科学技术一等奖、中央军委科技委第三届“源创杯”创新创意大赛全国总决赛一等奖,培养学生获得中国传感器创新创业大赛全国二等奖。
[1] Zheng G, Horstmeyer R, Yang C. Wide-field, high-resolution Fourier ptychographic microscopy[J]. Nature photonics, 2013, 7(9): 739-745. [2] Miao J, Ishikawa T, Robinson I K, et al. Beyond crystallography: Diffractive imaging using coherent x-ray light sources[J]. Science, 2015, 348(6234): 530-535. [3] Chang, X, Bian, L, Zhang, J. Large-scale phase retrieval[J]. eLight, 2021, 1, 4.
免责声明:本文旨在传递更多科研资讯及分享,所有其他媒、网来源均注明出处,如涉及版权问题,请作者第一时间联系我们,我们将协调进行处理,最终解释权归旭为光电所有。