封面 | 非视域成像，现代版“凿壁偷光”

中国计量大学金尚忠副校长、石岩教授课题组在《激光与光电子学进展》发表的综述“非视域成像技术研究进展”被选为2023年第14期的封面文章。

 

论文描述了基于飞行时间、相干信息和强度信息的三种非视域成像模式，着重总结了基于相干信息和强度信息成像模式的硬件参数、重建算法、重建时间和图像分辨率等的特点，并对非时域成像的发展趋势进行了分析和讨论。

封面解读

 

本封面示意了一种非视域成像过程。从墙壁小孔传来的光束携带了室外场景的信息，这些信息载于光场的多维参量中，通过计算解调在卷轴上将光场信息重建为图像，实现了对室外非视域场景的成像。“凿壁”不仅可以偷光还可以进行成像。

文章链接： 章镇宇, 石岩, 戴晟昕, 占春连, 赵天琦, 金尚忠. 非视域成像技术研究进展[J]. 激光与光电子学进展, 2023, 60(14): 1400001.

研究背景

 

传统的光学成像技术受到障碍物的限制，而非视域成像技术可以解决此问题，这进一步拓展了人类视野。2008年，Ramesh Raskar和James Davis^[1]首次提出非视域成像（Non-line-of-sight Imaging,NLOS）。近年来，随着超快激光发射和探测技术的不断进步，国内外学者在激光雷达和散斑成像等技术下的启发，不断提出新的非视域成像方法。非视域成像技术利用间接散射光携带的有效信号来重建被障碍物遮挡的物体，探测器采集经过多个表面散射回的携带目标物体信息的光子，通过计算还原遮蔽场景的三维图像。

1.

 

基于飞行时间的非视域成像

基于光子飞行时间（Time-of-flight，ToF）进行非视域成像^[2-3]是利用超窄脉冲激光，扫描可视区域的中继面，由条纹相机或单光子雪崩二极管（Single-photon Avalanche Diode，SPAD）等高时间分辨探测器采集自物体返回的ToF信号，通过单光子飞行时间和扫描点坐标等信息重建非视域目标表面轮廓。

图1 瞬态成像光路图^[4]

图1是瞬态成像方法^[4]，它开创了通过时间图像分析重建场景的算法和系统，将飞行时间应用于非视域成像。

2.

 

基于相干信息的非视域成像

 

基于相干信息的非视域成像可以分为基于散斑图案和空间相干两类，基于散斑图案的非视域成像使用相机作为探测器，通过散斑图案携带的角度信息来重建图像；基于空间相干的非视域成像需要使用干涉仪来探测相位信息以重建图像。

 

图2 基于单次拍摄散斑相干的非视域成像^[5]。（a）实验原理图；（b）相机拍摄图；（c）重建图；（d）原始目标

图2是基于单次拍摄散斑相干的非视域成像^[5]。由于物体表面的不均匀性，经其表面产生的反射光或散射光通过相干叠加，会产生随机的散斑图案，利用好散斑图案可以保留目标的角度相关信息，从而进行非视域成像。

图3 基于空间相干的非视域成像。（a）系统原理图；（b）DuPSsl实验装置图^[6]

图3是基于空间相干的非视域成像^[6]。经过漫反射之后，光波的空间相关性不变，干涉仪可以测量光波的相位信息，因此使用干涉仪作为探测器探测光波的相位信息可以用于非视域成像。

3.

 

基于强度信息分非视域成像

 

基于强度信息的非视域成像使用传统相机作为探测器，其成像方法主要有两种：一种是在非视域空间放置大小和形状已知的遮挡物以使用半影成像技术重建图像，另一种是直接获取非视域场景的光强度信息，导入训练后的模型恢复图像。

图4 基于数码相机的非视域成像^[7]。（a）相机拍摄图片；（b）遮挡物位置的估计；（c）重建结果

图4是基于数码相机的非视域成像^[7]。它基于半影成像技术，在非时域空间放置大小和形状已知的遮挡物，实现了对隐藏目标的图像重建。

技术难点

 

1.

 

噪声干扰

 

由于采集信号为多重散射光，有效光子信号相对背景噪声较弱，采集时间较长，且会采集到部分更高阶散射光，图像重建噪声影响大。

2.

 

信号弱

 

非视域场景的多次散射衰减了光信号，限制了图像重建，使非时域成像系统很难应用于远距离物体。

3.

 

缺失非视域场景中的先验信息

 

非视域成像多利用隐藏于场景的遮挡物实现图像重建，因此需要已知非视域空间的先验信息，这在实际应用中难以实现。

总结与展望

 

未来，随着光电探测技术发展、探测器灵敏度提升，非视域成像系统探测效率和采集速度会得到改善，计算机性能的提升和非视域算法的优化使得非视域成像的重建时间和重建质量得到提高。多模式非视域成像结合各种模式非视域成像系统，可以弥补各自的不足之处，非视域成像终将广泛受到关注，投入安防、军事以及生物医学等领域的应用中，突破人类的视觉限制。

作者简介

 

石岩，男，1981年2月生，博士，教授。2007年6月获浙江大学光学工程博士学位，现任中国计量大学光科系主任，硕士生导师，主要研究先进光电成像与检测理论和技术等。担任全国医用光学和仪器分技委委员。主持技术基础项目，省重点研发计划，之江实验室重点项目等，累计经费1000余万元；作为核心成员参与完成专项工程、国家重点研发计划、核电重大横向等，总经费2000余万元。获中国产学研合作创新成果奖1项；发表SCI、EI检索论文32余篇，获授权发明专利12项；指导毕业研究生19名。

金尚忠，教授，博士生导师，浙江省特级专家，中国计量大学副校长，首批浙江省高校黄大年式教师团队负责人，国家质检总局“我身边计量人”荣誉获得者，国务院特殊津贴获得者，国际计量技术联合会光电子技术部理事。长期从事光电仪器与光谱分析技术研究，获国家技术发明二等奖1项，国家质检总局科技兴检奖一等奖1项，中国仪器仪表学会科学技术奖一等奖1项，浙江省科学技术奖一等奖1项、二等奖4项，中国产学研合作创新成果一等奖1项。在国内外期刊上发表了200篇高水平学术论文，其中SCI、EI检索120余篇，获授权国家发明专利60余项，美国发明专利2项。

参考文献

[1] Ramesh R and Davis J. 5d time-light transport matrix: What can we reason about scene properties? [R] 2008.

[2] Kadambi A, Zhao H, Shi B X, et al. Occluded imaging with time-of-flight sensors[J]. ACM Transactions on Graphics (ToG), 2016, 35(2): 1-12.

[3] Jin C F, Tian X R, Tang M, et al. Advances on non-line-of-sight three-dimensional imaging lidar[J]. Infrared and Laser Engineering, 2021: 1-24. (in Chinese)

[4] Kirmani A, Hutchison T, Davis J, et al. Looking around corner using ultrafast imaging[J]. International Journal of Computer Vision, 2011, 95: 13-28.

[5] Ori K, Pierre H, Mathias F, et al. Non-invasive single-shot imaging through scattering layers and around corners via speckle correlations[J]. Nature Photonics, 2014,8(10): 1-7.

[6] Batarseh M, Sukhov S, Shen Z A, et al. Passive sensing around the corner using spatial coherence[J]. Nature Communications, 2018, 9(1): 1-6.

[7] Saunders C, Murray-Bruce J, Goyal V. Computational periscopy with an ordinary digital camera[J]. Nature, 2019, 565(7740): 472-475.