基于深度卷积神经网络的偏振图像超分辨率重建
TITLE | #基于深度卷积神经网络的偏振图像超分辨率重建#
已有的SR方法不能直接应用于偏振图像的任务，因为与强度模式图像相比，偏振图像具有更多的通道，这些通道对应于不同的偏振特性，使得难以处理所有通道中的重建处理。此外，大多数偏振参数，即线偏振度(DoLP)和偏振角(AoP)，都是通过非线性方法从这些通道中计算出来的。因此，如何平衡强度和偏振信息的重建是偏振图像SR任务面临的主要挑战。
本文考虑了偏振图像的两种退化模型来模拟实际中的图像退化，并提出了一种基于CNN的偏振SR重建网络结构和偏振损失函数，平衡了强度信息和偏振信息的恢复。实验结果表明，该方法在定量评估(PSNR和SSIM)以及对两种退化模型获得的图像的视觉效果评估方面均优于其他方法。特别是，该方法可以有效地恢复LR图像中的偏振信息，最大缩放因子为4。
在实验中，本文记录了四个具有不同偏振方向的强度图像，即0°，45°，90°，和135°。设I0、I45、I90和I135来计算线性斯托克斯矢量，即S＝[S0，S1，S2]T。
计算用式(1)表示：
●传统退化(TD)模型，仅考虑具有缩放因子α的下采样，即ILRθ=(IHRθ)↓α；
●改进的退化(ID)模型，它还考虑了噪声(即N)和模糊(即⨂k)的影响，即ILRθ=(IHRθ⨂k)↓α+N。
本文在图1中给出了两个模型之间差异的示意图。与TD模型相比，ID模型更复杂，但更接近真实的光学成像系统，特别是对于分辨率降低和非理想成像环境下的光学成像仪。简而言之，这两种模式都很重要。
为了将LR偏振图像重构为HR偏振图像，本文提出了偏振SR网络(PSRNet)，其结构如图2所示。该网络由四个部分组成：浅层特征提取(SFE)、一系列残差密集块(RDBs)、全局特征融合(GFF)和上采样模块。
对于偏振SR重建，直接计算输出图像和HR的损失不能很好地将偏振信息图像与标注真实数据相匹配，有效的方法之一是使用偏振表示损失函数，最终损失函数包括内容损失和偏振感知损失：
●内容损失将更多注意力集中在重建的强度图像上。当对所提出的网络进行监督时，通过HR和输出之间的差来给出损失：
用于偏振SR重建的数据集包括150组图像；每组包含HR偏振图像、通过TD模型推导的LR偏振图像和通过ID模型推导的LR偏振图像。值得注意的是，所有HR偏振图像(空间分辨率为1224×1024)都包含四个不同的子图像，对应于偏振方向，即0°，45°，90°和135°。在下文中，本文将展示PSRNet的性能，并基于图1中给出的两个退化模型(即TD和ID)。
为了扩大数据集的规模，本文应用了一个大小为32×32的窗口来裁剪步长为16的LR图像。因此，可以确定与HR图像裁剪相对应的窗口和步长，即当缩放因子为2和4时，HR图像的补丁大小分别为64×64和128×128。
为了验证本文的方法对这两种模型都是有效的，本文将其与一些有代表性的方法在定量和视觉效果评估方面进行了比较，包括双三次插值、SRCNN、PDCNN和SRResNet。
https://doi.org/10.1364/OE.479700
免责声明：本文旨在传递更多科研资讯及分享，所有其他媒、网来源均注明出处，如涉及版权问题，请作者第一时间联系我们，我们将协调进行处理，最终解释权归旭为光电所有。
