成像专题 | TMT：大规模仿真数据训练模型助力现实世界的湍流图像恢复（IEEE TCI）

图1. 技术架构示意：使用大规模仿真数据训练神经网络并在真实世界图片上泛化

• 大规模、覆盖多种大气湍流模态的数据集：大气湍流造成的图像质量下降主要表现为时空上变化的随机像素位移和模糊。这种时空随机变化的损失可以建模为一个稳态随机场，可以使用快速傅里叶变换采样泽尼克系数来实现，因此每一帧的整体采样时间可以被大大缩短。对于每个像素，使用基于深度学习的phase-to-space (P2S)的方法完成从泽尼克系数到点扩散函数的变换。尽管每个像素都有不同的点扩散函数，可以采用低秩近似的方式来并行模糊化整张图像，从而使仿真速度可以接近实时，并保持生成图像的物理真实性。
• 强大且高效的新型时空transormer网络TMT：所提出的Turbulence Mitigation Transformer (TMT) 是一个二阶段恢复的神经网络，每一个阶段都并行恢复同时输入的多帧图片。其中，第一阶段主要是去除随机的像素移动，一个基于三维卷积的轻型的Unet实现；第二阶段主要处理空间上非均匀的像素模糊，也采用了Unet架构，其基本组件是基于时域-通道联合自注意力的新型高效Transformer。该Transformer在空域上使用卷积，而将时域和通道联合处理，其复杂度对空域是线性的而对时域和通道是平方，可以节省内存需要。该研究进一步通过类似ShuffleNet的形式分批连接不同的时域和通道集合，缓和深层网络中由于通道数变多造成的内存紧张。

图2. 上：成像仿真流程；下：图像恢复流程

简单小结：目前已有的大气湍流图像恢复方法难以泛化和部署，该研究提出一种数据生产方法和新型神经网络来利用深度学习来帮助弱化这个难题。所提出的数据集可以提高目前湍流图像恢复深度学习模型的泛化性，其网络在效率和性能方面均超过已有最优多帧图像恢复模型。需要注意地是，该研究的数据仿真保真度和模型设计完整度方面尚有可以提升的空间。