Menu 

Menu
  1. 首页
  2. 行业新闻
  3. 元成像芯片实现数字自适应光学

元成像芯片实现数字自适应光学

元成像芯片实现数字自适应光学

An integrated imaging sensor for aberration-corrected 3D photography

本期导读

数字图像传感器在工业检验、安防监控、自动驾驶、生物医药、天文观测、移动设备等多个领域有着越来越广阔的应用，传感器的像素数目也在最近几年快速提升。然而，传统的二维图像传感器的实际性能已经达到了光学而非电子学的瓶颈。透镜加工误差以及环境扰动等会导致成像系统产生空间非均匀的光学像差，造成成像质量的下降。此外，三维光场信息投影至二维传感器平面也会导致深度和局部相干性等信息的丢失。
近日，来自清华大学成像与智能技术实验室的研究人员提出了一种具备数字自适应光学技术的元成像芯片（meta-imaging sensor）。与传统图像传感器的二维强度投影不同，元成像芯片集成了扫描光场成像技术，通过高速振动的编码微透镜阵列，实现了超精细的四维光场感知，并且在重建中灵活精确地合成衍射极限的非相干光图像。通过元成像芯片，可以实现高速多区域的光学像差矫正，无场景先验下，通过单个透镜实现十亿像素成像，大大降低了光学成本与系统复杂度。同时，元成像芯片能够用于地基天文观测，实现约1000角秒的全视场湍流像差矫正，提升传统自适应光学的矫正面积约900倍，为解决光学像差这一百年难题开辟了新路径。该研究于2022年10月发表于《Nature》。

 

图1. 该研究于2022年10月发表于《Nature》。

 

技术背景

随着空间-带宽积的增加，有效像素数目受到光学像差的本质局限，从而导致光学设计和制造的难度呈指数级增加，在这种情况下，如大口径望远镜等具有大空间-带宽乘积的高性能非相干成像系统通常非常昂贵且笨重。近年来，得益于高精度加工工艺的发展，一些研究人员通过超透镜与自由曲面光学元件等通过优化设计的光学表面来缓解这一问题；同时，图像去模糊算法也可以通过精确估计点扩散函数（PSF）来提高图像清晰度；人为设计的带编码孔径的PSF也可以通过减少频域中的空值来保存更多信息。然而，特别是对于空间非均匀的像差，重建由于调制传递函数（MTF）导致丢失的高频信息非常困难，这些方法通常需要特定的数据先验和精确的PSF估计。此外，上述方法都对动态环境像差仍然束手无策。
传统自适应光学通过可变形镜阵列或空间光调制器，将从一个点发出的光线以不同角度引导到传感器上的相同位置，来实现主动像差校正。像差波前可以通过导星(guide star)和波前传感器测量，也可以根据特定的评估指标进行迭代更新。然而，由于像差的空间非均匀特性，当前自适应光学方法有效视场（FOV）非常小。特别是对于地基望远镜，大气湍流引起的像差将自适应光学的视场范围限制在大约40角秒以内，这对于大规模天文观测来说是远远不够的。更重要的是，当前的自适应光学系统复杂而庞大，这使得其难以广泛应用于小型化或便携式系统中。

元成像芯片实现数字自适应光学

技术路线

研究者们提出了一种集成式的扫描光场成像框架——元成像芯片，实现像差校正的大空间带宽积三维成像。元成像芯片利用振动编码的微透镜阵列，首次实现了超精细的非相干光场感知与融合，将光场成像的有效分分辨率提升至了衍射极限，真正意义上将光学调制过程与数据采集过程分离，使得这一计算成像方法能够产生广泛的实际应用。研究者在集成式的传感器样机上通过基于波动光学的数字自适应光学（DAO）技术实现了具有全局非一致像差校正能力的成像结果，并且利用时空连续性开发了一种基于光流的运动校正算法，以去除扫描引起的运动伪影并保持成像速度达到相机帧率（camera frame rate）。
现有光场相机由于无法进行非相干合成孔径（ISA）导致空间分辨率严重下降，限制了其在各个领域的实际应用。为了解决这个问题，元成像芯片利用小孔径衍射效应，通过周期性移动成像平面的微透镜阵列，绕过了海森堡不确定性原理所导致的空间分辨率和角度分辨率之间的矛盾。研究者将所有技术集成在单个传感器上，使得其能广泛应用于几乎所有成像系统，而无须改变原有的光学器件（图2）。
每个微透镜将来自不同角度的光聚焦到不同传感器像素上进行角度采样（图2b，对应于15 × 15角像素）。其孔径大小仅约为成像平面衍射极限的十倍，这将对非相干光场产生衍射效应，并通过频率混叠在角度分离期间保留高频信息。与之前的扫描光场技术不同，研究者进一步地在每个微透镜上涂上一层编码图案，实现衍射强度调制增强频域混叠（图2a），减少用于重建的光学传递函数中的零点，这对于没有稀疏先验的通用成像场景至关重要。然后，研究者利用微透镜阵列的高速周期位移来增加受微透镜物理尺寸限制的空间采样密度，从而消除ISA的频率混叠。在根据相空间中的微透镜位置（图2b）以相同的视角为标准对像素进行重组后，应用基于解卷积的ISA算法，可以获得具有更大景深和达到衍射极限分辨率的全聚焦图像。通过多视角的立体图像，高精度的深度图也在这个过程中被同时获得（图2c）。

元成像芯片实现数字自适应光学

图2. 集成元成像芯片原理。(a) 元成像芯片架构 (b) 元成像芯片的成像原理。(c) 内置元成像芯片的原型相机。(d) 光学像差模型对比。(e) 多区域像差校正。(f) 单镜片成像性能对比。

元成像芯片实现数字自适应光学

图3. 不同像差水平下DAO性能的数值评估。(a)模拟图像的真实值。(b)不同像差下与传统传感器及硬件AO的对比。(c) 峰值信噪比（PSNR）与不同像差均方根的关系曲线。(d) SSIM与不同像差均方根的曲线。(e) 相对残余波前误差σ与不同像差均方根的关系曲线。(f) 二维传感器和具有DAO的元成像芯片分别在几何光学和波动光学建模下获得的实验数据结果。比例尺：20 毫米。
研究者将DAO的概念从几何光学扩展到波动光学，从而对成像模型进行更精准的建模。像差对应的相位分布可以从同一图像特征在不同视角图中的相对位移来估计，再进一步生成精确的4D点扩散函数。为了定量评估性能，研究者对不同程度的像差进行了数值模拟（图3a,b）。与基于几何光学的DAO相比，基于波动光学的DAO实现了大约10dB的峰值信噪比提升，对畸变波前的估计更加准确。与基于可变形镜阵列的硬件自适应光学方法相比，DAO获得了类似的性能（图3c-e）。在分辨率测试图上的实验结果进一步验证了波动光学模型的优越性（图3f）。此外，由于相关过程利用了包含在每个局域中的所有信号，DAO框架具有极强的噪声鲁棒性，在极弱光下仍具有优越的像差估计性能。
通过将自适应光学能力集成到传感器中，元成像芯片可以在不降低数据采集速度的情况下实现多点像差校正（图2e）。由于像差分布的高度不均匀性，传统硬件自适应光学系统的有效视场通常非常小，这会导致传感器像素被大量浪费。相比之下，元成像芯片可以在宽视场范围内对每个局部区域进行不同的像差校正，这在传统的光学相机中也很难实现（图2f）。
总而言之，元成像芯片进一步展现了扫描光场成像原理与数字自适应光学架构的优越性，并有望成为新的通用式像感器架构，广泛应用于几乎所有的成像系统中，通过计算成像方法从感知端突破了光学像差这一百年难题，以几个数量级的优势降低光学系统体积与成本，克服环境像差扰动，并具备高精度被动式三维感知能力。

论文信息：

  • Wu, J., Guo, Y., Deng, C. et al. An integrated imaging sensor for aberration-corrected 3D photography. Nature (2022). https://doi.org/10.1038/s41586-022-05306-8

技术详见：
An integrated imaging sensor for aberration-corrected 3D photography | Nature

免责声明：本文旨在传递更多科研资讯及分享，所有其他媒、网来源均注明出处，如涉及版权问题，请作者第一时间联系我们，我们将协调进行处理，最终解释权归旭为光电所有。

Nature | 光芯片上的飞秒脉冲Nature | 光芯片上的飞秒脉冲 突破 | 清华大学研制元成像芯片解决光学像差难题突破 | 清华大学研制元成像芯片解决光学像差难题 Default Thumbnail高分辨率波前传感器 (Light: Science & Application) Nature | 超薄非线性量子光源Nature | 超薄非线性量子光源 前沿：《Nature Photonics》突破，高通量超分辨显微成像照进现实前沿：《Nature Photonics》突破，高通量超分辨显微成像照进现实 Nature | 光存储新纪元！单盘容量提升万倍Nature | 光存储新纪元！单盘容量提升万倍 光学超构表面原理与应用光学超构表面原理与应用