一款拥有极限成像景深的超构透镜光场相机

近日，南京大学现代工程与应用科学学院徐挺教授、陆延青教授团队联合电子科学与工程学院闫锋教授团队研发出一款具有极限成像景深的超构透镜光场相机，实现了景深范围从厘米量级到公里量级的大景深消色差光场成像。

景深是成像系统的重要指标，它是指在像平面得到清晰的目标物体时，物方空间的前后可移动范围。在日常摄影中，人们都习惯于先对焦后拍摄，主要是由于普通相机的景深有限，无法实现整个视野范围内的清晰成像。拓展景深成像可以提高视野的纵向清晰范围，在光学显微、摄影、机器视觉、卫星遥感等领域具有重要的应用价值。扩展景深最简单的方式就是缩小光圈，使得投影光线发散得更慢一些。但是，减小光圈将限制光学系统的通光量，极大的降低成像质量。其他关于拓展景深的方法还包括机械扫描、波前编码以及多层透明探测器叠加等。然而，这些方法在拓展景深的同时均以损失部分成像性能为代价(如通光量、时间分辨、彩色成像能力或成像保真度)。 

图1.超构表面透镜阵列实现极限景深全彩成像

源于史前生物三叶虫复眼结构研究中获取的灵感，研究团队提出了一种高性能的大景深成像方法，从组成器件、系统构架以及重构算法三个层面构建了一套完整的仿生光场成像系统(图1)。构建该成像系统的基本思想是通过充分利用超构表面中的偏振光学特性和色散效应，最大限度的获取目标场景的景深信息，再通过多尺度人工神经网络进行图像重建。

图2为微纳加工制备的超构表面透镜阵列及其性能测试表征。通常，在基于衍射器件的成像系统中，器件的色散效应会引入严重的色差，很大程度上降低了成像质量，这是导致衍射器件难以应用于彩色成像的重要因素。而本研究反其道而行，把色散效应当作一种调制方式加以利用，联合光谱与偏振维度对场景信号进行调制。原始的场景信息经过光谱与偏振维度的调制后被传感器采集，后续重建算法则根据采集到的调制信号，解耦出清晰的大景深图像。 

图2.（a）超构表面透镜阵列的光学显微图像；（b）SEM图像；（c）双焦超构表面色散效应。

在成像实验中，研究人员布置了具有较大纵向深度(厘米至公里量级)的实验场景。一块印有不透明字母的玻璃被放置在距主镜光阑3厘米的位置作为最近的物体，最远的高楼距离约为1.7公里。图3a、b分别为自然光条件下像差校正前后的光场子图像。从放大后的子图（图3c,d）中可以清楚地看到，成像系统光学像差引起的模糊效应可以很大程度上被消除。进一步利用图像融合算法，可以得到整个场景的清晰图像(图3e)。因此，该成像系统不仅可以实现高分辨的大景深成像，而且可以消除由超构表面器件引起的色差。该研究工作是纳米光子学与计算成像学的深度融合，同时也为将来先进成像技术的发展提供了重要参考。

图3.室外场景的成像实验。（a-b）分别为自然光条件下像差校正前后的光场子图像;(c-d)为部分放大的子图像；(e)最终的清晰图像。

相关成果以“Trilobite-inspired neural nanophotonic light-field camera with extreme depth-of-field”为题发表于《自然-通讯》（Nature Communications 13, 2130，2022，DOI: 10.1038/s41467-022-29568-y）。南京大学现代工程与应用科学学院16级博士生范庆斌（现为电子科学与工程学院副研究员）、电子科学与工程学院20级博士生徐伟祝以及副研究员胡雪梅博士为该项工作的共同第一作者。现工院徐挺教授、陆延青教授，电子学院岳涛副教授以及闫锋教授为论文的共同通讯作者，南京大学为论文第一单位，合作单位包括华中科技大学以及美国国家标准技术研究院。

本工作得到了包括科技部重点研发计划、国家自然科学基金、江苏省双创团队等项目资助，以及人工微结构科学与技术协同创新中心、固体微结构物理国家重点实验室等平台的大力支持。

相关链接：https://www.nature.com/articles/s41467-022-29568-y