Light |基于深度学习的超高分辨率光声成像定位方法

The following article is from LightScienceApplications Author Light新媒体

近日，韩国浦项科技大学的Chulhong Kim团队展示了一种基于深度神经网络的计算策略，用很少的原始图像帧重建高密度超分辨率图像。该定位策略可应用于三维无标签定位光学分辨率光声显微镜和二维有标签定位光声计算机断层扫描。他们提出的方法同时提高了无标记显微镜和标记断层成像的时间和空间分辨率。该文章被发表在《Light: Science & Application》期刊上，题为“Deep Learning Acceleration of Multiscale Superresolution Localization Photoacoustic Imaging”，Jongbeom Kim和Gyuwon Kim为第一作者，Lihong V. Wang, Seungchul Lee和Chulhong Kim为通讯作者。

光声成像（PAI）是一种采用光学激发和超声波检测的混合成像技术，能够实现从细胞器到器官的体内成像。光声成像通过将短激光脉冲照射到生物分子上产生超声波，生物分子吸收激发的光脉冲，发生瞬时热弹性膨胀，并将其能量转化为超声波，称为光声（PA）波。诱导的光声波由一个超声波传感器检测，光声成像模式通常被分为两种模式：光声显微镜（PAM）和光声计算机断层扫描（PACT）。因此，光声成像可以提供多尺度和多参数的成像解决方案。

迄今为止，多尺度的光声成像系统已经通过提高其空间或时间分辨率而发展。在过去的十年中，非线性光声效应已经在光学分辨率光声显微镜（OR-PAM）中得到调整，以改变其有限的空间分辨率。然而，获得一个定位图像需要几十张三维OR-PAM图像，可行性不高。同时，不可避免的是，为了显著提高空间分辨率，必须牺牲时间分辨率。在PACT系统中，时间分辨率在技术上受到多元素超声检测和激光脉冲重复率的限制，而声学衍射从根本上限制了空间分辨率。而且，与OR-PAM中的定位类似，PACT中的定位需要数十万张图像的重叠，大大降低了时间分辨率。

为了解决上述问题，韩国浦项科技大学的Chulhong Kim团队展示了一种基于深度神经网络的计算策略，用很少的原始图像帧重建高密度超分辨率图像。该定位策略可应用于三维无标签定位光学分辨率光声显微镜和二维有标签定位光声计算机断层扫描。

基于深度神经网络（DNN）的计算策略已被证明能有效地改善生物医学成像模式。一种新兴的应用是通过从空间或时间欠采样的稀疏数据中重建密集的数据，使数据采集时间最小化。研究人员介绍了基于DNN的框架，通过从稀疏的信息中重建密集的图像来加快基于定位的光声成像。在不使用模拟数据的情况下，只用体内的三维OR-PAM和二维PACT图像来训练和验证DNNs。这种基于DNN的光声成像定位方法同时提高了时间和空间分辨率，可以极大促进需要快速和精细成像的临床前和临床研究。

图1显示了基于深度学习的框架的概况，该框架重建了一个高密度的基于定位的PA图像，其中包括与密集的基于定位的PA图像大致相同的微血管结构信息。作为基础事实，高质量的基于高密度定位的图像是通过叠加OR-PAM中的N个帧或PACT中的N个目标燃料液滴图像来创建的。这里的框架采用了两种类型的DNNs，以涵盖无标签定位的OR-PAM和有标签定位的PACT。

图1 三维-二维混合深度学习定位成像概述

图2代表了有代表性的三维网络输出，其中常规的OR-PAM图像是在小鼠体内获得的，而以5帧重建的稀疏图像被用作输入。基于密集定位的图像的总成像时间为30秒，而稀疏图像的总成像时间仅为2.5秒（图2a,b）。由于DNN中的三维运算，三维结构信息很好地继承了体积稀疏图像。从质量上看，基于稀疏定位的MAP图像比密集和生成的DNN图像具有更低的信噪比和更稀疏的血管连接。此外，放大的图像中白色虚线所示区域的线条轮廓与DNN MAP图像在质量上是相当的（图2c）。为了证明使用三维网络来重建体积超分辨率OR-PAM图像的优势，研究人员还在图2a中蓝色虚线突出的区域提取了B扫描图像（图2d）。图中的结果证明，基于深度学习的框架可以从稀疏的图像中重建密集的三维超分辨OR-PAM图像，并且可以将无药剂定位OR-PAM图像的成像时间减少12倍。

图2 三维深度学习定位OR-PAM的性能

论文地址：