CMOS兼容的F-P滤波器阵列助力实现视频速率高光谱相机

高光谱（Hyperspectral，HS）相机由于能够在图像的每个像素上提供丰富的光谱信息，促进了机器视觉、食品和农业分析、环境监测和健康护理等领域的先进传感应用。尽管空间扫描式、光谱扫描式和快照式这三种通用类型的高光谱相机已有市售，但是它们在工业和消费领域的应用还存在很多障碍，例如与RGB相机相比，具有较低的灵敏度、分辨率和/或帧速率等。

新兴的计算成像有潜力通过优化硬件设计和图像后处理来增强高光谱相机的传感能力。压缩传感是一种从欠采样测量中有效获取信号的技术，有助于提高许多传感系统的性能。

最近的研究成果包括片上光谱器件和编码孔径快照光谱成像等。然而，目前还没有制造出具有与RGB相机相当灵敏度和分辨率的视频速率高光谱相机，因此阻碍了高光谱成像技术在工业和消费领域的应用潜力。

据麦姆斯咨询报道，日本松下控股公司（Panasonic Holdings Corporation）的Motoki Yako等研究人员近期在Nature Photonics上发表了一篇题为“Video-rate hyperspectral camera based on a CMOS-compatible random array of Fabry-Pérot filters”的文章。在这篇文章中，研究人员展示了一种视频速率高光谱相机，利用了高效采集压缩在二维传感器信号中的空间和光谱信息。这款高光谱相机采用压缩传感，通过将包含64个CMOS兼容的法布里·珀罗（Fabry-Pérot，F-P）滤波器阵列放置在单色图像传感器上，实现了空间-光谱编码。该滤波器阵列提供了高光学传输，同时最小化后续迭代图像重建中的重建误差。该高光谱相机对可见光的灵敏度为45%，空间分辨率为3  px（3 dB对比度），并提供32.3 fps的帧速率 （VGA分辨率）。这些指标与等效RGB相机相当，因此，能够满足实际应用的要求。

在该高光谱成像方案中，来自物体的光由测量矩阵进行空间和光谱编码，然后基于物体的空间稀疏性进行图像重建。其测量矩阵被实现为一种空间随机透射率模式的编码掩模，不同波长之间具有较小的相关性，即光谱随机性。

采用一种空间-光谱编码掩模的高光谱相机

如上图c所示，编码掩模直接放置在单色图像传感器上，对于大规模量产，可以使用CMOS兼容的工艺将其单片集成到传感器上。编码掩模是像素间距为5.5  μm的正方形单元阵列，与图像传感器的像素间距匹配。

编码掩模中Fabry-Pérot滤波器结构和特性

高光谱相机图像采集的实验结果

总结来说，研究人员展示了一种可比拟RGB相机灵敏度和分辨率的视频速率高光谱相机。通过将CMOS兼容的空间和光谱随机编码掩模集成到单色图像传感器上，从而实现了这种高光谱相机的制造。该相机对可见光的灵敏度为45%，空间分辨率为3 px（3 dB对比度），从而提供了与标准RGB相机相当的性能。

通过假设空间稀疏性的迭代图像重建，获得了平均绝对误差为2.2%的高光谱图像。通过使用迭代图像重建实现了32.3 fps的帧速率（VGA分辨率），并可以通过基于人工智能（AI）的重建进一步增强到全高清分辨率。

其实用的灵敏度、紧凑的尺寸和数据压缩等优势，为高光谱成像技术在智能手机、无人机和物联网（IoT）设备等各种场景中的广泛应用带来了无限可能。

论文链接：
https://doi.org/10.1038/s41566-022-01141-5