Menu

Menu

基于深度学习的微波诱导热声成像定量重建介电性能

通过电磁成像技术定量重建样品的介电特性对于众多学科都具有至关重要的意义。尽管传统的微波成像和微波诱导热声成像(MITAT)技术在定量重建方面取得了成功,但是在处理具有高介电常数和电导率的生物样品时,仍然面临着巨大的挑战。

 

2023年3月,ShanghaiTech University大学的研究团队在IEEE Transactions on Microwave Theory and Techniques 期刊上发表了题为《Quantitative Reconstruction of Dielectric Properties Based on Deep-Learning-Enabled Microwave-Induced Thermoacoustic Tomography》的文章。研究提出了一种基于深度学习的 MITAT (DL-MITAT) 方法来高质量地定量重建生物样品的介电特性。

原文信息:

Quantitative Reconstruction of Dielectric Properties Based on Deep-Learning-Enabled Microwave-Induced Thermoacoustic Tomography

原文链接:

https://ieeexplore.ieee.org/document/10058028

期刊信息:

IEEE Transactions on Microwave Theory and Techniques, IF=4.3

论文创新点

 

研究提出了一种称为双分支残差U-Net(DBResU-Net)的新网络结构来实现 DL-MITAT。网络的输入是采集的声波数据通过反向投影(BP)算法物理归一化得到的初步热声(TA)图像或分布信息,实现了从BP的初步结果到介电常数和电导率输出的高质量成像。与传统的MITAT方法相比,该网络可以显着提高重建精度,并且在处理不匹配的样本形状时具有良好的泛化能力和稳定性。

 

实验方法

 

U-Net基于全卷积网络,是生物医学成像领域应用最广泛的DL模型之一。其中,残差U-Net(ResU-Net)已被证明在医学成像和图像分割方面有较好表现。研究将ResU-Net修改为DBResU-Net,以更好地适应当前介电常数和电导率重建的问题。DBResU-Net的架构如图1所示。它由粗略模型和微调模型组成。与传统的ResU-Net不同,在最后一个编码器层之后,研究将网络分成两个分支,以便分别将特征卷积成两个输出。粗略模型如图1(a)所示,它学习输入图像的一般特征。其后的两个分支构成微调模型,如图1(b)所示。它将粗略模型提取的特征投影到两个不同的空间中,以获得两个输出,即介电常数和电导率。

基于深度学习的微波诱导热声成像定量重建介电性能
图1. 提出的DBResU-Net的结构。(a)粗略模型。(b)微调模型。

 

用于重建介电常数和电导率的DL-MITAT技术的框架如图2所示。主要包含数据构建、训练、测试三个部分。

基于深度学习的微波诱导热声成像定量重建介电性能
图2. 所提出的基DBResU-Net的DL-MITAT技术用于重建介电常数和电导率的整个过程的框架。(a) 数据构建部分。(b) 训练部分。(c) 测试部分。

 

这项研究通过微波和声学模拟构建训练集,这比使用实验方法更具时间效率和成本效益。数据构造的详细过程如图2(a)所示。研究应用CST微波工作室软件进行微波模拟以获得样品中的SAR。介电特性分布用作真实值(GT)数据。研究随后利用k-Wave MATLAB工具箱根据获得的SAR进行初步热声(TA)模拟,获取换能器检测到的声信号。训练阶段如图2(b)所示。获得的声学信号通过传统的BP算法得到图像,作为DBResU-Net的输入数据。输入数据在样本中表现出SAR分布,使用这样的输入数据可以被认为是将MITAT的物理原理嵌入到DL-MITAT技术中以提高性能。表I给出了训练的设置。研究使用PyTorch框架在配备NVIDIA RTX A6000 GPU的PC上进行网络训练。在训练过程中,DBResU-Net中的参数被迭代优化。通过对网络进行充分的训练,输出将与GT数据高度一致。研究将最终版本命名为经过训练的DBResU-Net,其输出为重建的介电常数和电导率。在图2(c)所示的测试阶段,测试数据是指通过仿真或实验得到的时域TA压力信号,然后进行BP算法得到测试集图像并将该图像馈送到经过训练的网络,最后获得重建的介电常数和电导率图。

表 I 网络训练的设置

基于深度学习的微波诱导热声成像定量重建介电性能
实验结果

 

(1)模拟测试

 

研究首先使用乳房肿瘤模型进行模拟测试。二维乳房体模的示意图如图3所示,它是由脂肪、肌肉和肿瘤组成的方形不均匀体模。最终的介电常数和电导率重建图像如图4所示。研究展示了具有不同组织介电特性和形状的四个模型的模拟结果,可以看到肌肉和肿瘤的形状以高保真度重建。此外,为测试网络的泛化能力,研究改变肿瘤和肌肉的形状,如图5的前三行所示。可以看出,即使使用椭圆形肿瘤和环形肌肉,重建效果仍然很好。研究进一步将肿瘤的介电特性设置为高于(第四行)或低于(第五行)训练集中的范围。尽管仍然可以忠实地重建肿瘤的几何形状。最后,研究测试了具有一块肌肉的样本(第六行)和另一个仅具有肿瘤的样本(最后一行)。前一种情况的定量重建结果仍然很好,伪影可以忽略不计,但后一种情况的恢复图像在肿瘤周围有明显的伪影。因此,当前的网络在处理样本中不匹配的几何形状方面具有鲁棒性,而所提出的方法尽管存在一些偏差,但仍粗略地重建了介电特性。由于目标样品的介电性能在许多应用场景(例如生物医学成像、异物检测或无损检测)中的变化范围是已知的,因此这个问题对于实际应用来说可能并不成问题。

基于深度学习的微波诱导热声成像定量重建介电性能
图3. 不均匀乳房模型的示意图。

 

基于深度学习的微波诱导热声成像定量重建介电性能
图4. 具有不同肌肉状和介电特性的体模的模拟测试结果(在最左列中标记)。GT表示真实值。

 

基于深度学习的微波诱导热声成像定量重建介电性能
图5. 通过使用几何形状或介电属性值不匹配的样本进行模拟来研究网络泛化能力。

 

(2)离体实验测试

实验中制作并测试了四个不均匀样品。样本中使用了猪脂肪、猪肌肉、牛肉肌肉和肿瘤模型。研究在每个样本中嵌入一个圆柱形肿瘤模拟体。实验系统示意图如图6所示。浸泡在耦合液中的样品通过槽下的矩形微波波导天线(WR430)进行辐射。使用超声换能器测量来自样品的受激TA信号。传感器在样品周围的180个离散位置进行扫描,检测到的声信号随后由前置放大器放大,并由数据采集卡记录。然后,信号通过带通滤波器进行滤波以提高信噪比。

基于深度学习的微波诱导热声成像定量重建介电性能
图6. 实验系统示意图。

 

图7(a)中的样品使用猪肌肉,图8(a)中的样品使用牛肌肉。与猪肌肉相比,牛肉肌肉通常具有较高的电导率而较低的介电常数。第一个样品的实验测试结果如图7所示。与其他两个网络相比,研究提出的DBResU-Net可以在肌肉和肿瘤的介电常数和电导率的形状和数值方面实现更准确的重建。同时,在DBResU-Net的重建图像中,不同组织的边界比其他两个网络更清晰,介电常数和电导率的分布更连续。对于给出的测试结果图8,可以观察到类似的性能。这些实验结果无疑证明了基于DBResU-Net的DL-MITAT技术能够可靠地重建定量介电常数和电导率分布。此外,研究还测试了两种训练集和实验测试数据的情况。图9(a)中的第一个样本只有一块肌肉,与图5中的第六行类似。图10(a)中的第二个样本没有肌肉,类似于图5中的最后一行。对于第一种情况,尽管训练集和测试数据不匹配,但DBResU-Net 获得的介电常数和电导率曲线仍然与图9(a)中的样本具有很好的相似性。同时,DBResU-Net重建的图像比其他两个网络具有更准确的形状和边界。对于第二种情况,整体重建质量不如第一种情况。这意味着训练集和实验测试数据之间较大的不匹配会进一步恶化重建结果的质量。

基于深度学习的微波诱导热声成像定量重建介电性能
图7. 使用具有两个条形猪肌肉和肿瘤模型的样本进行离体实验测试结果。(a) 样品的照片。(b)–(d) 由不同网络重建的介电常数。(e) 通过BP算法获得的图像。(f)–(h) 由不同网络重建的电导率。

 

基于深度学习的微波诱导热声成像定量重建介电性能
图8. 使用具有两个条状牛肉肌肉和肿瘤模型的样品进行离体实验测试结果。

 

基于深度学习的微波诱导热声成像定量重建介电性能
图9. 使用具有一根条形猪肌肉和肿瘤模型的样品进行离体实验测试结果。

 

基于深度学习的微波诱导热声成像定量重建介电性能
图10. 仅使用具有肿瘤模型的样本进行离体实验测试结果。

 

总结展望

 

这项研究提出应用基于深度学习(DL)的微波诱导热声成像(MITAT)方法来实现生物介电特性的定量重建。通过模拟和实验测试,研究证明DL-MITAT技术能够可靠地重建包含肿瘤、肌肉和脂肪的非均质生物样本。实验重建误差仅为5%。并且该网络在样本几何形状方面表现出出色的泛化能力。这项工作提出了一种定量重建介电特性的替代方法,对于许多生物医学成像、检测和无损检测应用有意义。

 

免责声明:本文旨在传递更多科研资讯及分享,所有其他媒、网来源均注明出处,如涉及版权问题,请作者第一时间联系我们,我们将协调进行处理,最终解释权归旭为光电所有。