Menu

Menu

稀疏旋转相机阵列助力多图超分计算成像(IEEE TCI)

基于稀疏旋转相机阵列的计算超分成像

Computational Super-Resolution Imaging With a Sparse Rotational Camera Array

本期导读

多图超分辨成像技术利用阵列相机获取多张退化子视图,然后以计算合成单张高分辨率图像,克服单个相机硬件分辨率不足的限制,在遥感监测、视觉测量等领域广泛应用。相机阵列的结构参数控制原始信号到观测信号间的退化过程,对其参数设计进行优化,可以实现更优的信号采集效果,具有重要研究意义。

来自北京航空航天大学的研究人员将各相机间的相互旋转作为新自由度引入阵列相机系统,扩展了多相机系统的可用设计空间。理论分析与实验表明,相机旋转在获取高保真点扩散函数和多样化混叠模式方面具有一定优势。同时,该研究提出了一种基于旋转信息先验的超分辨重建方法,可以有效解码相机旋转带来的额外互补信息并克服特征对准问题,从而提高多图超分辨重建效果。该研究近期议论文发表在领域内顶刊IEEE Transactions on Computational Imaging》上。

稀疏旋转相机阵列助力多图超分计算成像(IEEE TCI)

图1. 旋转稀疏相机系统结构设计与采样原理(上),实测超分重建效果(下)

稀疏旋转相机阵列助力多图超分计算成像(IEEE TCI)

技术路线

目前,典型多相机成像系统由多个相同子相机平移阵列排布组成。各子相机间信号退化模式趋同,未充分获取用于高分辨率图像重建的非冗余互补信息。控制子相机间沿光轴旋转可以一定程度上缓解该问题。该研究将信号退化分解为模糊与混叠两方面,对相机旋转的作用分析。

另外,传感器像元的空间积分效应导致观测信号模糊,在频域上对应低通滤波器。频域响应中交替出现的增益零点及低增益区域导致信号难以复原。旋转相机利用积分区域的旋转不对称特性,使不同相机对应模糊核的频域零点位置相互偏移,整体上保留更多原始场景信息。

稀疏旋转相机阵列助力多图超分计算成像(IEEE TCI)

 图2. 旋转相机对频响的影响。(a)像元排布;(b),(c)单个方形像元;(d),(e)像元频率响应;(f)融合后频率响应

传感器像元网格状阵列排布形式使传感器沿各方向采样密度不同,使观测信号沿各方向产生不同混叠程度。旋转相机将原始场景中同一特征旋转至不同方向,可以产生多样化的混叠形式,利于后期重建算法对混叠特征进行识别与恢复。

稀疏旋转相机阵列助力多图超分计算成像(IEEE TCI)

 图3. 旋转相机对混叠的影响。(a)不同方向上像元采样间隔不同; (d)不同方向上不同的无混叠采样频率

为了有效从旋转相机观测值中解码有效信息,进行超分辨率融合,提出一种基于物理旋转先验的多图超分CNN算法。该算法将各子相机的观测图像与对应的仿射变换矩阵共同作为输入,结合注意力机制,实现了特征空间上的图像配准与增强。在仿真与实物数据集上的测试表明,所提出方法与基于平移相机的最优方法相比,实现了0.6dB的提升。

稀疏旋转相机阵列助力多图超分计算成像(IEEE TCI)

图4. (a)超分算法整体流程设计; (b)梯度引导的特征提取; (c)基于物理信息的特征配准

稀疏旋转相机阵列助力多图超分计算成像(IEEE TCI)

图5. 实物测试结果。(a)真值;(b),(c)低分辨率输入子图(请关注两图在像素个数和特征表示上的差异); (d)双线性插值重建效果; (e)该研究结果


简要小结
:在面向图像超分的多相机系统中,引入各子相机间旋转可以增强采集信号的非冗余互补特性,从而提高超分生成图像质量,有望为更加灵活高效的多相机成像系统设计提供启发。

论文信息:

Y. Zhang, T. Li, Y. Zhang, P. Chen, Y. Qu and Z. Wei, “Computational Super-Resolution Imaging With a Sparse Rotational Camera Array,” in IEEE Transactions on Computational Imaging, vol. 9, pp. 425-434, 2023.

技术详见:
https://doi.org/10.1109/TCI.2023.3265919
*该技术分享所涉及文字及图片源于发表论文和网络公开素材,不做任何商业用途。

免责声明:本文旨在传递更多科研资讯及分享,所有其他媒、网来源均注明出处,如涉及版权问题,请作者第一时间联系我们,我们将协调进行处理,最终解释权归旭为光电所有。