Menu

Menu

  1. 首页
  2. 行业新闻
  3. [文献速递Vol.215]-SNR-Net OCT:通过深度学习对低光光学相干断层扫描图像进行增亮和去噪

[文献速递Vol.215]-SNR-Net OCT:通过深度学习对低光光学相干断层扫描图像进行增亮和去噪

[文献速递Vol.215]-SNR-Net OCT:通过深度学习对低光光学相干断层扫描图像进行增亮和去噪
撰稿人 |  关蕾

 

TITLE  |  #SNR-Net OCT:通过深度学习对低光光学相干断层扫描图像进行增亮和去噪#

01

 

论文导读

 

当使用低输入功率、低量子效率检测单元、低曝光时间或面对高反射表面时,产生的低光光学相干断层扫描(OCT)图像亮度和信噪比较低,限制了OCT技术和临床应用。低输入功率、低量子效率和低曝光时间有助于降低硬件要求并加快成像速度;高反射表面有时是不可避免的。本文提出了一种基于深度学习的技术来增亮和去噪低光OCT图像,称为SNR-Net OCT。所提出的SNR-Net OCT深度集成了传统的OCT设置和残差密集块U-Net生成对抗网络,该网络具有通道注意力连接,使用定制的大型无斑点SNR增强的明亮OCT数据集进行训练。结果表明,所提出的SNR-Net OCT能够有效增亮低光OCT图像并去除斑点噪声,增强信噪比并保持组织微观结构。

 

02

 

研究背景

 

光学相干断层扫描(OCT)作为一种无创、无辐射的光学成像设备,由于其微米级成像分辨率、深度切片和三维结构分辨能力,已广泛应用于眼科、心脏病学、胃肠病学和内窥镜检查等临床应用。然而,当面对低输入功率、低量子效率检测单元、高成像速度的低曝光时间或面对高反射表面时,会出现具有低信噪比(SNR)的低光OCT图像,这些图像会高度退化并限制OCT的临床应用。当面对低信噪比的低光成像时,一种传统的基于硬件的亮化低光OCT图像并增强其信噪比的策略是在检测单元的量子效率固定时增加成像曝光时间或输入光功率,这可以增加进入检测单元的光子数量并增强成像光。然而,增加成像曝光时间不可避免地会降低成像速度,并且使用更高的光功率总是受到光源技术和安全考虑的限制。另外的一些传统方法在面对低功耗输入、低量子效率等情况时也都无法解决弱光问题,也无法去除斑点。

 

近年来,随着深度学习的兴起,神经网络在图像处理尤其是医学领域的启发能力受到了广泛关注。最近,散斑调制OCT的出现在去除散斑噪声方面取得了很大进展,但它严重降低了OCT采样臂输入光功率和时间分辨率。本文提出了一种基于深度学习的散斑调制OCT,它将传统的OCT设置与使用定制的大型散斑调制OCT数据集训练的深度学习网络深度集成。所提出的基于深度学习的散斑调制OCT算法在不降低OCT采样臂输入光功率和时间分辨率的情况下,能够有效去除OCT散斑噪声,为深度学习方法增强OCT SNR奠定了基础。

03

 

方法原理

 

如图1(a)所示,使用相同的映射灰度值和调整成像曝光时间,分别采集低光lL OCT图像和高照度hL OCT图像。然后,通过无斑点积分算法对hL OCT图像进行进一步预处理,去除散斑噪声,获得更亮的h-SNR OCT图像。然后,使用lL OCT图像和h-SNR OCT图像的像素级配对作为数据集。

 

在网络模型训练阶段,构建SNR-Net以实现OCT图像增亮和去斑噪声,如图1(b)所示。将训练数据分别输入深度学习网络,开始前向传播,得到预测的OCT图像。通过计算预测图像与真实图像之间的损失,采用反向传播计算梯度并更新模型参数。

在训练阶段之后,训练好的网络模型与传统的OCT设置集成。在获取原始图像后,经过训练的神经网络可以直接输出相对无斑点且SNR增强的较亮的OCT图像,如图1(c)所示。

[文献速递Vol.215]-SNR-Net OCT:通过深度学习对低光光学相干断层扫描图像进行增亮和去噪
图1 SNR-Net OCT示意图。

 

这里使用残差密集块结构(RDB)来代替U-Net的原始卷积层。如图2(a)所示,RDB包含密集连接层,局部特征融合和局部残差学习。同时,密集连接层包含三个3×3卷积层,然后是Leaky ReLU(α = 0.2)层,其中使用的滤波器数量为32。在编解码路径中,使用1×1卷积层来压缩或扩展特征通道的数量。在编码路径中,过滤器的数量逐渐增加,从 16 个增加到 32、64、128、256,反之亦然。在编码路径中,RDB提取的特征使用步幅为2的2×2最大池化进行下采样,下采样层总共执行2次。同时,在解码路径中使用2×2上采样层和1×1卷积进行上采样。

 

[文献速递Vol.215]-SNR-Net OCT:通过深度学习对低光光学相干断层扫描图像进行增亮和去噪
图2 生成网络结构图。

 

为了获得高性能的SNR-Net OCT,在我们的深度学习网络中使用了混合损失函数,训练目标函数如方程(1)所示:

 

[文献速递Vol.215]-SNR-Net OCT:通过深度学习对低光光学相干断层扫描图像进行增亮和去噪
其中损失函数的各项分别如公式(2)、(3)、(4)所示:

 

[文献速递Vol.215]-SNR-Net OCT:通过深度学习对低光光学相干断层扫描图像进行增亮和去噪
[文献速递Vol.215]-SNR-Net OCT:通过深度学习对低光光学相干断层扫描图像进行增亮和去噪
[文献速递Vol.215]-SNR-Net OCT:通过深度学习对低光光学相干断层扫描图像进行增亮和去噪
04

 

实验结果

 

如图3所示,在低光OCT图像中无法揭示的深层微观结构,在增亮的SNR-Net OCT图像中通过去除斑点有效地揭示。例如,在传统OCT成像中,组织的条纹细节受到图噪点的严重影响,如图3(a)和(d)所示,而本文的SNR-Net OCT可去除斑点噪声和电子噪声并增亮图像,很好地保留条纹细节,如图3(b)、(c)、(e)和(f)所示。

 

[文献速递Vol.215]-SNR-Net OCT:通过深度学习对低光光学相干断层扫描图像进行增亮和去噪
图3 低光OCT和SNR-Net OCT的图像。

 

05

 

论文总结

 

本研究分析了以往OCT SNR增强工作的不足,特别是对于低光OCT图像,包括基于硬件和软件的方法。在这里,结合深度学习的优点和之前在散斑噪声去除方面的工作,本文进一步提出了一种基于深度学习的低光OCT图像增亮和去噪技术,称为SNR-Net OCT,以结合散斑去除和图像增亮获得更高SNR的OCT图像。该方法可以直接从原始低光图像中生成无斑点信噪比增强的亮图像,并很好地保留图像的纹理信息。

 

文章链接

 

https://doi.org/10.1364/OE.491391

免责声明:本文旨在传递更多科研资讯及分享,所有其他媒、网来源均注明出处,如涉及版权问题,请作者第一时间联系我们,我们将协调进行处理,最终解释权归旭为光电所有。