Menu

Menu

[文献速递Vol.211]-用于表面形状、偏振和高光谱测量的5D融合成像

[文献速递Vol.211]-用于表面形状、偏振和高光谱测量的5D融合成像
撰稿人 |  刘一鸣

 

TITLE  |  #用于表面形状、偏振和高光谱测量的5D融合成像#

01

 

论文导读

 

本文作者提出了一种五维(5D)成像仪,能够同时检测宏观物体的表面形状、光谱特征和偏振状态,并直接将收集到的数据融合到5D数据集中

 

偏振模块使用偏振相机获得偏振图像,而三维高光谱模块使用条纹投影技术将目标重建为三维点云。在该模块的相机前放置液晶可调滤波器,获取可直接分配给相应点云的光谱数据。这两个模块通过双路配置耦合,允许偏振信息合并成具有光谱信息的综合点云,从而生成新的5D模型。

5D成像仪性能优异,光谱分辨率为10 nm,深度精度为30.7µm,成像时间为8 s。在带有微划痕缺陷的玩具车上和发黄的植物上进行了样品实验,展示了5D成像仪的功能及其在工业制造检查、植物健康监测和生物分析等广泛应用中的潜力。

02

 

研究背景

 

近些年来,高维成像在实验室环境中得到了广泛的研究。与传统摄影只能记录二维(2D)光的空间分布不同,高维光学成像可以收集更多与被测物体的内在特性相关的信息,这些信息是物质分析的关键指标,如三维(3D)形态和深度信息或材料特征,从而为目标的检测、识别和分析提供有效而全面的方法并进行分析。

 

结合了高光谱成像(HSI)和三维重建的四维成像(4D)具有广泛的应用前景。HSI可以通过非接触、非破坏性的方式同时高效地获得数十到数千个窄波段的二维图像f(x, y)。由于获得的光谱可以提供丰富的分子键振动模式和光吸收等信息,因此被广泛应用于材料分析,在现场环境遥感、食品安全评价和检验、生物医学等领域有着广泛的应用。

偏振是反映物体除强度、相位和频率以外的内在光学特性的另一个信息维度。目标物体由于其固有的物理性质(如粗糙度、形状、材质等),在反射或辐射电磁波的过程中会呈现出特定的极化状态。偏振成像已广泛应用于工业部件的缺陷检测、应力分析、生物医学癌症检测以及恶劣环境下的目标识别。在传统的四维成像中加入偏振信息对数字记录和物体分析非常有益。

然而,考虑到系统性能在光谱和空间分辨率、物理复杂性和计算成本方面的平衡,多维信息数据融合仍然存在巨大挑战

03

 

方法原理

 

图1(a)显示了LCTF的基本结构,它由若干平行偏振片和平面向列液晶(LC)电池组成。

 

LCTF的透过率谱在特定波长λ处有一个中心峰,其他波长的透过率接近于零。这样,只有特定波长的光才能通过LCTF,而其他波长的光的不必要传输被抑制。通过在LC电池上施加不同强度的偏置电压,可以调谐中心传输波长。图1(b)显示了作者实验中使用的LCTF的透射光谱,中心峰在420 – 740 nm范围内调制到不同的波长。

在普通CMOS相机前使用LCTF,可以获得不同波长的单色图像,从而实现HSI

[文献速递Vol.211]-用于表面形状、偏振和高光谱测量的5D融合成像
图1. (a) LCTF的基本结构;(b) LCTF在不同波长下的透射光谱。

 

被测目标的线偏振度(DOLP)和线偏振角(AOLP)是偏振成像中经常测量和成像的两个重要参数。DOLP表示线偏振光强占总光强的比例,AOLP表示线偏振光的偏振方向与设定的参考方向之间的夹角。

 

下为Stokes矢量表达式及DOLP、AOLP计算公式:

[文献速递Vol.211]-用于表面形状、偏振和高光谱测量的5D融合成像
[文献速递Vol.211]-用于表面形状、偏振和高光谱测量的5D融合成像
偏振相机是一种新型成像传感器,将0°、90°、45°、135°四个不同偏振方向的逐像素偏振滤光片单片集成到传统CMOS传感器上,可同时捕获四个偏振方向的图像。根据上述表达式,偏振相机可以生成包含Stokes矢量信息、DOLP和AOLP的偏振图像。

 

基于条纹投影的典型结构光系统示意图如图2所示。投影仪将标准的垂直正弦光栅条纹图案照射到物体上,由物体表面调制的相应变形条纹由另一个视角的摄像机捕获,深度信息编码到条纹图像的相位中

[文献速递Vol.211]-用于表面形状、偏振和高光谱测量的5D融合成像
图2. 基于条纹投影的结构光三维重建原理图。

 

04

 

图文结果

 

使用单色光进行三维重建有助于减少光学系统的像差,并且可以选择三种波长的单色光对不同颜色的目标进行三维重建,大大减少了颜色对三维重建的影响。白光适合用于偏振和HSI。在三维重建过程中,具有预定空间条纹频率的单色结构光通过偏振器P1,转换成线偏振光,再通过成像透镜L1投射到目标上。条纹的相位和偏振态都受目标表面形状的调制

 

[文献速递Vol.211]-用于表面形状、偏振和高光谱测量的5D融合成像
图3. 5D成像仪的光学设计示意图:L1、L2、L3、L4、L5—成像镜头;P1、P2—偏光镜;CP—补偿器;BS—分束器。

 

在数据融合之前,需要对数据配准进行系统校准。数据配准的重点是建立海康威视相机和偏振相机图像平面之间的映射关系。校准板由海康威视相机和偏振相机成像,通过图像处理算法获取点中心的像素坐标。

 

在三维成像过程中,基于条纹照明的结构光立体视觉计算被测物体的三维坐标(x, y, z)并生成三维点云模型,而在极化HSI过程中,光谱数据λ;偏振信息s由相应的相机采集。根据上面讨论的三维重建原理,相机平面上的每个像素对应一个唯一的三维点云P (x, y, z),由于三维重建和光谱采集共享相同的光路和相机成像平面,因此可以直接将两个数据集匹配融合在一起,而无需进行后处理。

[文献速递Vol.211]-用于表面形状、偏振和高光谱测量的5D融合成像
图4. 5D成像仪数据处理流程图。

 

为了评估该系统的测量有效性,在标准比色卡上进行了绿、红、黄三色的成像实验。测量目标如图5(a)所示。图5(b)显示了商用光谱仪和5D成像仪测量的光谱。本文作者用5D成像仪测量的光谱结果与商用光谱仪的结果一致。A点、B点和C点的光谱峰位于480、640和570 nm处,分别对应蓝色、红色和黄色特征。结果表明,该系统具有良好的光谱测量能力

 

图5(c)和图5(d)显示了该系统捕获的偏振图像,其中偏振器的颜色由DOLP和AOLP的值决定。从图6(c)可以看出,线性偏振器的DOLP值趋近于1,背景的DOLP值趋近于0,这与偏振理论一致。测量的线性偏振器的AOLP值为38◦,- 7.5◦,7.5◦,- 38◦,与图5(a)所示的实际角度相对应,表明了该系统偏振测量的准确性

[文献速递Vol.211]-用于表面形状、偏振和高光谱测量的5D融合成像
图5. (a) 比色测试板的照片,四个偏振片在不同的偏振角度;(b) (a)中A、B、C点的归一化反射光谱;(c) 四个偏振镜的DOLP;(d) AOLP图像。

 

三维重建的深度精度通常采用平面标准差来评价。使用一个平面棋盘作为参考,板的理想重建是三维点云中的所有点都分布在同一平面上,称为最佳拟合平面。重建的三维点云与其理想拟合平面的标准差反映了三维重建的精度。但由于重构误差,计算出的三维点与最佳拟合平面存在一定偏差,图6(b)显示了该系统测量的平面拟合的残差。标准差约为30.7µm,说明5D成像仪的深度精度为30.7µm

 

[文献速递Vol.211]-用于表面形状、偏振和高光谱测量的5D融合成像
图6. (a)重构点云与最佳拟合平面的偏差;(b)平面拟合残差。

 

融合精度是多传感器系统中衡量不同传感器采集数据融合精度的指标。使用棋盘角点测量方法,该5D成像仪的融合精度计算为0.91像素

 

05

 

论文总结

 

本文作者提出了一种5D成像仪,可以获得统一的高光谱数据、偏振信息和测量对象的三维空间模型。该成像仪由两个主要模块组成:偏振模块、基于条纹投影的三维HSI模块和LCTF模块,分别用于偏振检测和基于光谱数据的三维地形测量。由于两个模块具有相同的前光路配置,并且具有相同的视场和视角,因此它们的成像平面是共轭的,并且是点对点对应的。几何配准后,高光谱和偏振数据都可以在亚像素级与相应的三维点云匹配,形成新的5d融合模型。5D成像仪的光谱分辨率为10 nm,深度精度为30.7µm。样品实验的结果表明,新型5D技术在物体综合分析方面具有巨大的优势,在生物检测、精准农业和先进制造等广泛领域具有巨大的应用潜力。

 

文章链接

 

https://doi.org/10.1364/AO.467484

免责声明:本文旨在传递更多科研资讯及分享,所有其他媒、网来源均注明出处,如涉及版权问题,请作者第一时间联系我们,我们将协调进行处理,最终解释权归旭为光电所有。