基于振动编码微透镜阵列的元成像传感器，用于高速像差校正3D成像

Original 麦姆斯咨询殷飞 MEMS 2022-10-26 00:00 Posted on 上海

据麦姆斯咨询报道，近日，清华大学方璐副教授和戴琼海院士等研究人员提出了一种集成扫描光场成像传感器，称为元成像传感器（meta-imaging sensor），可实现高速像差校正3D成像，而无需额外的硬件更改。元成像传感器不是直接检测二维强度投影，而是通过振动编码微透镜阵列捕获超精细的四维光场分布，从而在后处理中灵活、精确地合成复杂场调制图像。

2D成像传感器广泛应用于各种领域，包括工业检测、移动设备、自动驾驶、安防监控、医疗诊断、生物学和天文学。受益于半导体行业的快速发展，数字图像传感器中的像素数量在过去十年中增长迅速。然而，使用集成传感器获取高密度的深度图始终是一个挑战。

自适应光学通过可变形反射镜阵列或空间光调制器实现主动像差校正，以将从一个点发射的光线以不同角度引导到传感器上的相同位置。波前像差可以通过导星和波前传感器测量，也可以通过根据特定评估度量的迭代更新来测量。自适应光学在天文学和显微镜领域都取得了巨大成功，并为重要的科学发现做出了贡献。然而，由于空间不均匀像差，当前自适应光学方法的有效视场（FOV）非常小。更重要的是，当前的自适应光学系统复杂、笨重且昂贵，这使得轻量级系统或便携式设备的开发变得困难。

在本项工作中，研究人员提出了一种集成的扫描光场成像框架，包括硬件和软件，称为元成像传感器，以低成本实现大空间带宽产品的像差校正3D成像。类似于利用纳米结构对光场进行前所未有的操纵的超构表面，元成像传感器通过振动编码微透镜阵列，实现了空间-角度域中光场的快速测量和合成，这比传统光场技术精确得多，其将光调制过程与数据采集分离。然后，研究人员在单个集成传感器上通过基于波动光学的数字自适应光学（digital adaptive optics，DAO）实现了具有多点像差校正的高性能3D成像。通过利用时空连续性，研究人员开发了一种基于光流的运动校正算法，以防止运动伪影并保持成像速度（可以达到相机帧速率）。

元成像传感器原理

基于光流的动态场景运动校正

在元成像传感器中，带有数字自适应光学的非相干合成孔径（incoherent synthetic aperture，ISA）有两个关键特性。一是波动光学模型用于具有像差校正的高分辨率重建的必要性。光学像差不仅会移动点扩展函数（point spread function，PSF），还会略微改变其强度分布，这在以前的数字自适应光学框架中没有考虑到。因此，研究人员在波动光学数字自适应光学迭代过程中使用相位生成的PSF，实现了更好的图像合成和更准确的像差估计。另一点涉及微透镜阵列的集成扫描过程，在相邻微透镜之间提供虚拟的空间重叠，使得在成像透镜的衍射极限内不混合ISA的高频信息。这种扫描过程解决了空间分辨率和角度分辨率之间的内在平衡，而传统光场中的高空间分辨率，无论是聚焦还是非聚焦方案，都是以降低角度分辨率和景深为代价。

为了验证元成像传感器的能力，研究人员对摄影、自动驾驶、工业检测、视频监控和天文学等领域的各种应用进行了定量分析。具体而言，研究人员使用单个透镜获得了高达千兆像素的高性能全聚焦图像，表明系统成本和容量降低了三个数量级。特别是在像差严重不均匀的情况下，元成像传感器的分辨率提高了十倍以上。此外，元成像传感器有助于在 80厘米口径望远镜上进行直径超过1000弧秒的多点像差校正，为高分辨率地面天气观测铺平了道路。百万像素深度图可以在毫秒级获得，比传统的光场相机具有更好的精度和分辨率，适用于各种工业应用。

用于自动驾驶和工业检测的高速百万像素深度感测

论文信息：
https://www.nature.com/articles/s41586-022-05306-8