Nat. Commun. | 大规模高分辨单光子成像

本文由论文作者团队（课题组）投稿

单光子雪崩二极管（Single Photon Avalanche Diode，简称SPAD）阵列因其极佳的单光子灵敏度而受到广泛关注，已广泛应用于量子通信与计算、荧光寿命成像、时间飞行成像等各个领域。与同样具有较高灵敏度的EMCCD和sCMOS相比，SPAD阵列能够在极低噪声水平下获取光子级别的光信号，并进行直接光子数字转换，可以有效消除读出噪声并提高读出速度。

SPAD由于其特殊的制造工艺与结构，图像分辨率相比传统的CMOS传感器大幅降低。传统的CMOS传感器在2012年便达到了数十兆像素的规模，而SPAD为了防止电子雪崩的击穿效应出现，难以突破较大像素保护环尺寸的限制，在2020年才达到了百万像素分辨率。商业SPAD产品的造价要比CMOS传感器每像素高8个数量级。

除了上述图像分辨率规模小之外，SPAD还面临以下瓶颈难题：

1）位深低，SPAD进行直接光子-数字转换，在曝光时间内由光子导致的雪崩效应直接采集1bit光子信息；

2）噪声模型复杂，SPAD实际噪声模型并非仅仅包含泊松-高斯噪声，除光子通过光电效应激发电子导致雪崩效应引入的散粒噪声外，其他多种物理噪声源包括固定模式噪声、后脉冲、像素串扰以及淬灭电路引入deadtime等等，进一步导致了成像质量的退化；

3）缺乏具有高分辨真值的图像对数据集，尽管可以通过累加多个子帧生成低噪声图像，但其图像分辨率仍然较低，构建包含低分辨率单光子采集图像和高分辨率真值图像对的大规模数据集至关重要。

近日，北京理工大学边丽蘅教授课题组针对单光子成像存在的低分辨、低位深、大噪声问题，提出物理驱动深度学习的高分辨大规模单光子成像技术，通过对多元物理噪声建模，构建大规模单光子图像数据集，提出基于门控融合网络的深度学习网络，实现高分辨、高保真大规模单光子成像。研究人员在一系列实验中应用了这一技术，包括微流体检测、傅里叶叠层成像和高速成像，这些实验验证了该技术在大规模高分辨单光子成像方面的领先水平。

该成果发表在Nature Communications，题为“High-resolution single-photon imaging with physics-informed deep learning”。北京理工大学的边丽蘅教授为论文的共同第一作者和共同通讯作者，宋昊泽博士生为共同第一作者，张军院士为共同通讯作者。

建立多元物理噪声模型

研究人员建立了多元物理噪声模型，探讨了散粒噪声、暗计数、后脉冲、串扰等多类噪声的特性与作用机制，按照光子入射，光子响应，电子雪崩以及淬灭电路等单光子探测过程构建多元物理量噪声模型。

图1：单光子成像多元物理噪声模型，单光子图像数据集与重建结果图

图源：Nat Commun 14, 5902 (2023)

构建大规模单光子图像数据集

研究人员采集大量单光子图像数据（64*32像素，90种场景，10种不同位深，3种不同光通量，总共2790张图像）。基于此真实场景单光子图像数据集，对上述多元物理噪声模型的各项参数进行标定优化求解，获取多噪声参数对探测器感知能力的作用机理，提升单光子探测器的可靠与准确感知能力。

基于标定的噪声模型，研究人员通过仿真合成，进一步构建了大规模单光子探测器图像增强数据集，成像数据集的基本规格为5种分辨率的图像对，包括17250种场景、10种不同位深、3种不同光通量，一共包含2.6百万张图像，为单光子成像增强算法的性能提高与验证提供数据基础。

构建并训练深度学习网络

为了应对单光子成像低分辨、低位深、大噪声挑战，研究人员进一步构建了一个transformer网络，具有内容自适应的深度自注意力机制和门控融合模块，可挖掘全局上下文特征，并消除多源噪声并提取全频信息。网络浅层特征提取模块使用卷积层保留图像的低频信息，深度特征融合模块通过内容自适应与稠密链接保留与补偿关键的中高频图像信号，重建模块融合了浅层低频特征和深层中高频特征，以进行高质量的图片重建增强。

大规模高分辨单光子成像

研究人员通过一系列实验验证所提出方法的有效性，包括微流体检测、傅里叶叠层成像与高速成像等。实验结果验证，上述技术能够提升高达5 dB的成像信噪比，通过该技术实现的高质量单光子成像增强对于后续的探测分析具有重要意义。

图2：实验结果：微流控芯片检测单光子成像增强

图源：Nat Commun 14, 5902 (2023)

图3：实验结果：高速场景单光子成像增强

图源：Nat Commun 14, 5902 (2023)

总结与展望

综上，本工作深度研究了单光子成像的整个光子-电子流程，考虑了多种单光子成像降质噪声源，包括光子入射产生的泊松噪声、SPAD阵列光子响应产生的固定模式噪声、暗电流率、后脉冲噪声以及淬灭电路产生deadtime引入的噪声。本工作构建了第一个包含2790张单光子实采图像数据集，用于优化标定多元物理噪声模型参数。利用标定噪声模型，仿真合成了包含17250个场景的大规模单光子图像数据集，覆盖了从千像素到兆像素的多种分辨率，提供了低分辨率单光子图像和对应高分辨率参考图像对。该数据集用于深度学习网络训练，最终实现大规模高分辨单光子成像。

论文信息

Bian, L., Song, H., Peng, L. et al. High-resolution single-photon imaging with physics-informed deep learning. Nat Commun 14, 5902 (2023). 

https://doi.org/10.1038/s41467-023-41597-9

---

监制：赵阳

编辑：赵唯