撰稿 | 王鑫（中国科学院长春光学精密机械与物理研究所），孟森（上海乂义实业有限公司）
40年前的美国科幻电影《银翼杀手》中有一个场景：主人公Rick Deckard拿着一张照片，放入扫描设备中，通过语音控制，将照片放大再放大，看到了照片中隐藏着的细节证据。
这部电影首次呈现关于图像超分辨技术的设想。对于一个成像系统（如数码相机、手机、光电侦查吊舱等），真实场景的光线经过光学系统的多个光学镜头的折射（或反射）最终照射到由感光模块组成的光电传感器上，光电传感器将光信号转换成电压信号，而后通过处理电路将电压信号转化为数字图片。
在整个成像过程中，有以下几个过程会导致我们在屏幕上看到的数字图片与真实场景出现差异：
1. 光学系统限制：光波存在衍射效应，使得一个理想无限小的点物体发射的光波通过系统成像后，由于成像系统口径有限，物体光的高频成分被阻挡，最终参与成像的只有物体光波的低频成分，使得最终的像不再是一个无限小的理想点，而成为了一个弥散的亮斑，称为“艾里斑”（名词解释>）。
2. 光电传感器感光区域限制：光电传感器的感光区域是一定尺寸的，但是每一个感光区域只能输出一个电压（也就是我们在图片上看到的一个像素），因此如果两个光点通过光学系统在同一个感光区域成像，那么我们是没有办法区分这两个光点的。
3. 光电传感器感光区域间的间隔：两个感光区域之间存在不感光的部分，如果光点在这一部分区域成像，那么我们将无法探测到这个光点。
如果我们想真实的提高拍摄图像的分辨率，我们可以采用以下方法来实现：
科学家发现，通常情况下艾里斑尺寸与光的波长（λ）、成像系统口径（D）和数值孔径（NA）等参数有关。
减小艾里斑尺寸的方法有两个：第一是减少探测器系统的波长，第二是增加光学系统的口径。这两种方法已广泛应用在天文领域，如改变波长的x射线望远镜，γ射线望远镜等（x射线、γ射线波长比可见光波长更短）；如扩大口径的欧洲极大望远镜，其通光口径达到了惊人的39米，其清晰度将比哈勃太空望远镜（名词解释>）高16倍。
但是绝大多数时候，根据光学系统的任务需求，其口径与波长是不能改变的。因此，进一步获得更清晰的图像的方法，是提高探测器的分辨率即减少探测器感光区域的尺寸同时减少感光区域间的“死区”大小。如将320×215分辨率30 μm像元尺寸的中波红外探测器更换为640×512分辨率15 μm像元尺寸的探测器，更进一步，更换为1280×1024分辨率像元尺寸7.5 μm的探测器。众所周知的是，随着探测器分辨率的提升以及像元尺寸的减少，其价格是呈指数增加的。
一个有意思的现象，当我们将偏移半个像素的同一场景的照片快速切换时，似乎我们看到了比一张静止照片更多的细节。这是因为人眼观看物体时图像会在视网膜上延续0.1-0.4秒的时间，人眼的这种性质被称为“眼睛的视觉暂留”（名词解释>）。快速切换的图片，由于眼睛的视觉暂留，导致我们看到的画面的叠加，经大脑处理后，我们看到了更清晰的图像。当我们用于多幅采样相位不同的图片时，我们就可以获得更高分辨率的图片，我们将这一过程称之为图片的超分辨重建（名词解释>）。
但是需要说明的是基于深度学习的图像超分辨算法，其是基于数据驱动的，即使用的训练集是什么，超分后的结果就是什么，而不是实际场景是什么，超分后的结果就是什么。
为了保证侦查的真实性，在航空侦查领域，一般不会采用基于数据驱动的深度学习的超分辨算法，而是采用基于模型的传统超分辨重建算法。对于传统超分辨重建算法，获得稳定的相位差异是必不可少的。
一般来说有两种方式可以获得稳定的相位差异：第一、移动相机；第二、移动光学镜头。
对于移动相机的方案，最初应用在卫星上，利用卫星在轨飞行的运动在不同时间点拍摄同一个地面目标，以此获得具有半像素相位差异的多幅图片，从而进行超分辨处理，如WordView-2卫星。
机载光电侦察设备对尺寸、重量和抗冲击振动等有这特殊的要求，同时对输出视频的实时性与准确性都有着严格的要求。因此，在机载应用环境下需使用高速微扫描技术结合基于嵌入式系统的实时超分辨处理。
为了提高航空光电侦察平台在长焦条件下的图像分辨能力，长春光机所航测一部某重点项目组，派出优秀科研团队，与上海乂义实业有限公司联合开发出高速微扫描成像系统，并对采集的图像进行超分辨处理，明显提升了光电设备的识别能力，并在外场飞行实验环节得到较好的验证。
该成果以“高速微扫描图像超分辨重建”为题发表在《光学 精密工程》（EI、Scopus收录，中文核心期刊）。
将光学系统内部透镜固定到高速微扫组件上，在探测器曝光的间歇期快速移动光学透镜一段距离，使探测器输出的前后两帧图像存在亚像素偏差。然后使用基于概率分布的超分辨重建算法，将低分辨率图像序列处理成高分辨率图像。
在机载环境下，为了保证充分发挥探测器的性能，高速微扫描设备需利用探测器两次曝光的间隔来进行位移，当探测器处于曝光阶段时，透镜保持位置稳定，当探测器处于非曝光阶段时，二维压电高速微扫描平台带动透镜快速运动实现亚像素位移，确保微扫描不引起图像模糊，提高成像质量。
针对输出帧频为120 FPS 的探测器，高速微扫描超分辨核心组件进行了专门的优化设计，采用2×2 的过采样扫描方式，微扫描时间＜1. 0 ms，到位稳定精度＜0. 3 μm（对应约0. 03 个像素）。
基于概率分布的超分辨重建算法的基本原理是：建立真实成像的数学模型，估计模型的相关参数，结合探测器输出的低分辨率图像序列Y，构建符合一定条件的像素概率分布函数，通过极大似然估计，确定理想高分辨图像X。
为了提升帧间运动信息的时效性、准确性及鲁棒性，本文选用GPU-TX2i 嵌入式平台作为硬件环境，并行构建80个子区域对应的关系矩阵，并行迭代求解子区域对应的高分辨率图像。为提高图像处理速度，在算法优化时使用更小的卷积核，严格控制存储量，实时调整迭代步长，降低图像处理运算量，最终获得期望的超分辨率图像。
室内靶标测试识别的目标是1951USAF分辨率测试板。由于实验在室内进行，不存在大气湍流扰动和伺服控制精度的问题，这四张图片的偏差实际为0. 5 个像素，属于一种较为理想的状态。
相比于低分辨率原始图像，超分辨重建后的图像空间分辨率提升78. 2%。
室外复杂场景测试相较于室内靶标测试，不能忽略大气湍流扰动和伺服控制精度的影响，为了不降低超分辨重建算法在复杂场景下的鲁棒性、稳定性，需要对过采样获取的图像进行配准。经超分辨重建处理后，图像中的混叠信息被去除掉了，目标的特征更清晰、识别更容易。
先敌发现、先敌识别是机载光电侦察设备的重要指标。初期为了论证高速微扫描超分辨技术对于探测距离是否有提升，进行了基于场景的光学仿真分析。
光学仿真结果表明，针对同一场景，经超分辨重建获取的高分辨率图像对坦克目标的识别距离由2725. 54 m提升到3904. 68 m，识别距离提升了约43. 3%。
图14：距离目标2725.54m处，低分图与超分图对比
图15：距离目标3904.68处，低分图与超分图对比
微扫描组件和超分辨重建技术的配合使用，既能提升光电侦察设备输出图像的有效空间分辨率，又能增加光电侦察设备对地面目标的识别距离。后续的飞行测试也进一步验证了这一结论。
论文信息
赵浩光,曲涵石,王鑫等.高速微扫描图像超分辨重建[J].光学精密工程,2021,29(10):2456-2464.
