综述：深度学习驱动下的光声成像技术

光声成像（Photoacoustic Imaging, PAI）是一种新型的非侵入式光子成像方法，可应用于检测和诊断疾病，观察生物组织的结构和功能等领域。其物理基础是生物组织的光声效应，当成像样本被激光器发出短脉冲激光照射时，被照射的组织或物质吸收光能量，产生热弹性膨胀，导致周围介质的瞬间膨胀和收缩，从而产生超声波向组织表面传播并被接收，通过进一步的信号处理恢复初始声压信号，光声成像技术在拥有超声成像的成像深度的同时，结合了光学成像的高对比度高分辨特点，可以实现对生物组织高深度、高对比度、高分辨率的成像。光声最普遍的的三种成像形式分别为光声断层成像（Photoacoustic Tomography, PAT）、光声显微镜（Photoacoustic Microscopy, PAM）和光声内窥成像（Photoacoustic Endoscopy, PAE）。其中，PAT使用非聚焦大直径脉冲激光束实现组织表面的全场照明，并使用整体阵列超声换能器采集信号，然后通过反演算法整体重建图像。PAM则使用聚焦短脉冲激光照射待测点，采用聚焦换能器逐点采集PA信号，无需额外的反演算法即可重建图像。PAE则是一种基于内窥镜应用的光声成像技术。在PAT中，难以同时实现低成本设备和高信噪比的图像重建，而目前广泛应用的稀疏探测器也难以通过常规反演方法获得理想的重建效果。在PAM中，成像速度也存在不足之处，尽管可以通过改变激发光脉冲重复率和改变扫描机制等方式来提高扫描速率，但这些方法往往会对图像质量产生不可忽视的影响。

深度学习技术已经在图像处理领域取得了显著的成就，其易实现、低成本等特点在工程和研究上都得到各个领域的关注关注。目前，许多深度学习网络，包括卷积神经网络、U型网络（U-Net）和生成对抗神经网络（GAN）等已经被广泛应用于光声图像重建的各个领域，并且大量的研究成果已经充分显示出这些方法的优越性。本文主要内容针对深度学习应用在PAT与PAM的信号、图象处理以及图像重建的若干角度进行了综述，并对深度学习和光声成像热点问题进行了讨论与展望。

（1）光声图像重建

在PAT重建过程中，研究人员将 2-D 原始数据（具有时间和检测器维度）修改为 3-D 阵列（具有两个空间维度和一个通道维度），其中通道数据包对应于空间点的传播延迟分布，并用作神经网络的输入。传统的机器学习方法的训练输入是在不适定条件下通过标准重建方法得到的残缺图像，由于残缺图像已经丢失先前捕获的难以重建的微弱信息，往往重建效果的精细结构不尽人意。该方法在大多数传统重建方法的第一步的基础上通过神经网络训练，不仅大大简化了学习过程，通道维度的扩展保留了更多信息并提高了学习精度。

图 2 系统示意图。（a）光声数据采集示意图；（b）CNN-Net网络结构示意图

总而言之，这种方法重建PA数据的图像质量与传统方法相比有显著提升，但丢失了一些复杂的吸收体几何结构，附带产生微小的伪影。

在PAM重建方面，使用ResNet的方法等被提出。该方法旨在提高稀疏PAM图像的质量，其网络结构可以同时保持良好图像质量并加快图像采集速度，使用的数据集是橡树和木兰叶脉的PAM图像。

在低剂量激光能量的条件下，多任务残差密集网络（MT-RDN, Multi-Task Residual Dense NeTWork）的深度学习方法等被提出。MT-RDN网络采用了多监督学习、双通道样本收集和合理权重分配相结合的创新策略。提出的深度学习方法与一个面向应用的改进OR-PAM系统相结合。本研究首次在超低激光剂量（减少32倍剂量）下获得了较好的图像。该网络方法旨在解决高速成像过程中单脉冲激光能量低和欠采样导致的图像质量恶化的挑战。

（2）光声图像处理

对于光声图像处理，研究人员提出一种注意力增强的 GAN，它使用一种改进的 U 网发生器来消除 PAM 图像中的噪声。该网络不需要手动选择不同噪声图像的设置，而是使用注意增强的生成对抗网络提取图像特征，并自适应地去除不同程度的高斯、泊松和瑞利噪声。该方法已在合成和真实数据集上得到验证，包括体模(叶静脉)和体内(小鼠耳朵血管和斑马鱼色素)实验。网络结构图和去噪效果如图3所示。

图 3网络结构图及去噪效果说明。(a)网络结构图; (b)通过体内实验获得的小鼠耳血管数据集的代表性结果。顶部原料: 来自合成噪声数据集的代表性样本; 底部行: 来自真实噪声数据集的代表性样本; (c)对小鼠耳脉管系统和斑马鱼色素去噪效果的演示

针对OR-PAM与AR-PAM之间分辨率与成像深度互补的关系，一种基于深度学习GAN网络的深穿透高分辨光声显微技术等被提出，该方法采用Wasserstein GAN（WGAN）作为训练网络，将低分辨率的AR-PAM图像向相同深度的高分辨率的OR-PAM图像进行学习。

对于光声图像分割领域，一种基于深度学习的新兴PAT乳腺癌诊断方法等被提出。该方法使用了一种预处理算法来提高输入乳腺癌图像的质量和均匀性，并且运用了一种迁移算法来改善训练集不足的问题，并同时取得更好的分类性能。该网络根据乳腺成像报告和数据系统水平，根据 BI-RADS 级别将现有的乳腺癌数据集分为六类，从而帮助医生更好地诊断和治疗癌症。

（3）光声信号处理

光声信号处理方面，研究人员提出利用sinogram数据作为网络输入，去除光声断层成像产生的伪影。该工作在ixi数据集上基于MRA和T1加权图像生成了二维人脑PA数值幻像数据集，并输入进U型网络训练，将仿真获得的伪影图像向先验获得的高分辨图像纠正，得到训练后的网络，可以有效的纠正颅骨引起的声像差,如图4。

图 4 Sinogram图用作网络输入在PAT中的应用。（a）Navchetan Awasthi等人提出的网络结构图；（b）网络结构图；（c）Fan Zhang等人提出的实验流程图，其流程包括对先验图像分割，制作头骨仿真结构，光学仿真，声学仿真，sinogram图像训练和最终获得去伪影图像；（d）三组仿真结构的粘弹性介质声学模型中归一化PA谱图和归一化DAS重建人脑PAT图像；（e）归一化PA信号取为其中一个头骨仿真模型的第一个通道，信号分别为参考PA信号，基于流体介质声学模型得到的具有颅骨像差的PA信号，粘弹性介质声学模型得到的带颅骨像差的PA信号，U-net校正流体介质声学模型后PA信号，u网校正粘弹性介质声学模型后的PA信号

对于去除光声信号噪声方面，研究人员提出一种可区分的深度学习方法，以在图像重建之前将电噪声与光声信号分开。所提出的深度学习算法基于两个关键特征，它通过使用整个光声正弦图作为输入来学习噪声和信号的时空相关性，其次对实验获得的纯噪声和合成光声信号的大型数据集进行了训练。

研究人员还提出一种基于深度学习网络的光声数据带宽增强方法。在PAT过程中，光声组织表面采集光声信号总是采集到频带受限的信号，而更为细致的图像信息往往处在光声信号的高频区域。

（4）光声数据获取

图 5 该模型采用532nm 波长入射光束不同功率密度的聚焦高斯光束图像和网络综合测试结果。(a)当功率密度分别为6mJ/cm2、12mJ/cm2和18mJ/cm2时，获得三维成像结果; (b)扩频网络和深度增强网络处理后获得的棕榈皮三维 PA 图像和三维 PA 图像; (c)图中相应的彩色切片

这篇综述聚焦于深度学习赋能的光声成像，从四个角度分析了近期深度学习的工作：光声成像PAT重建、PAM重建、图像处理和信号处理。文章还从神经网络结构（如U-Net、GAN网络和密集块）出发，整理了它们在生物医学成像领域的早期工作，并向读者介绍了常见的神经网络结构及其在生物医学领域的起源。最后，提出了神经网络当前的问题和困难，并进一步提供了解决问题的思路，并指出了未来的发展方向。通过结合不同的技术和方法，深度学习在光声成像领域的应用有望进一步优化和拓展，为临床医学和生命科学的研究提供更加强大和高效的工具。

南京理工大学智能计算成像实验室（SCILab: www.scilaboratory.com）隶属于南京理工大学光学工程国家一级重点学科带头人陈钱教授领衔的“光谱成像与信息处理”教育部长江学者创新团队、首批“全国高校黄大年式教师团队”。实验室学术带头人左超教授为国家“优青”、国际光学工程学会会士（SPIE Fellow）、美国光学学会会士（Optica Fellow），入选科睿唯安全球高被引科学家。实验室致力于研发新一代计算成像与传感技术，在国家重大需求牵引及重点项目支持下开展新型光学成像的机理探索、工程实践以及先进仪器的研制工作，并开拓其在生物医药、智能制造、国防安全等领域的前沿应用。研究成果已在SCI源刊上发表论文200余篇，其中36篇论文被选作Light、Optica、LPR等期刊封面论文，20篇论文入选ESI高被引/热点论文，论文被引超过13000次。获中国光学工程学会技术发明奖一等奖、江苏省科学技术奖基础类一等奖、日内瓦国际发明展 “特别嘉许金奖”等。培养研究生5人获全国光学工程优秀博士论文/提名奖，5人获中国光学学会王大珩光学奖，8人入围Light全国光学博士生学术竞赛全国百强，获“挑战杯”、“创青春”、“研电赛”全国金奖十余次，“互联网+”全国总冠军。