【RCIM】基于多传感器融合的数字孪生预测机器人激光定向能量沉积中的局部质量
引文格式：
GB/T 7714
Chen L, Bi G, Yao X, et al. Multisensor fusion-based digital TWin for localized quality prediction in robotic laser-directed energy deposition[J]. Robotics and Computer-Integrated Manufacturing, 2023, 84: 102581.
MLA
Chen, Lequn, et al. “Multisensor fusion-based digital twin for localized quality prediction in robotic laser-directed energy deposition.” Robotics and Computer-Integrated Manufacturing 84 (2023): 102581.
APA
Chen, L., Bi, G., Yao, X., Tan, C., Su, J., Ng, N. P. H., … & Moon, S. K. (2023). Multisensor fusion-based digital twin for localized quality prediction in robotic laser-directed energy deposition. Robotics and Computer-Integrated Manufacturing, 84, 102581.
背景简介
增材制造（AM）在制造几何复杂产品方面显示出巨大的潜力，尤其是激光定向能量沉积（L-DED）工艺已广泛应用于航空航天，海洋和近海工业中大型金属零件的制造。然而，在金属增材制造技术中，保持高质量的一致性、尺寸精度和工艺可重复性仍然是一个巨大的挑战。尽管采用了预先优化的工艺参数，但由于局部热量积聚、表面波动、速度不一致等因素，仍可能导致零件出现裂纹和锁孔等缺陷。增材制造过程中形成的气孔和裂纹会严重损害打印部件的机械性能，因此，早期检测和修复缺陷对于防止构件失效至关重要。
目前，在AM的原位监测和缺陷检测方面具有重大进展。最先进的过程传感技术利用视觉或红外（IR） 热传感器来捕获过程特征（例如熔池几何形状、声发射、温度历史等），并结合机器学习 （ML） 模型进行缺陷预测。此外，声学监测已成为AM原位缺陷检测的更通用且更具成本效益的替代方案。上述原位监测方法已显示出预测特定类型缺陷，以实现在线监测增材制造过程。然而，现有方法仍缺乏特定位置的质量预测能力，并且缺乏用于实际生产的可靠的缺陷预测模型。因此，本研究提出了一种基于多传感器融合的数字孪生（MFDT），用于L-DED过程中特定位置的质量预测。
成果介绍
（1）研究引入了一种基于多传感器融合的数字孪生。基于机器人操作系统（ROS）的软件平台的多传感器原位监测装置，传感器捕获的过程数据包括同轴熔池图像、温度场数据和机器人 L-DED 过程中的声学信号。利用每个传感器中提取关键特征，执行时空数据融合，以同步和配准零件3D体积中的多传感器特征。在多传感器特征提取和选择之后，训练各种监督机器学习（ML）模型，将时空融合的数据集映射到整个体积域内的质量标签。并通过光学显微镜（OM）进行非原位质量检测，以定位无缺陷区域以及锁孔和裂纹。经过训练的ML模型用于识别在 L-DED 过程中需要去除的区域，通过该模型，在打印零件的三维体积内生成了一个虚拟的质量图，其中包含质量预测结果。从虚拟质量图中可以提取出缺陷边界，以便后续使用机器人进行缺陷修复。
图1 提出的基于多传感器融合的数字孪生（MFDT）框架，用于机器人L-DED中特定位置相关缺陷预测
（2）研究在多传感器融合数据集和仅提供单一传感模态特征（仅使用声学特征或视觉特征或热特征）的数据集上对 ML 模型进行训练和测试。结果表明，虚拟质量图与光学显微镜图像获取的实际质量非常吻合。与传统的基于单传感器的质量预测相比，MFDT实现了更高的质量预测准确率（96%）、更高的接收器操作特征曲线下面积（ROC-AUC）分数（99%）和更低的误报率（4.4%）（图2和图3）。
图2 L-DED中基于多传感器融合的缺陷预测性能评估。（a）使用单传感模态特征和多传感器融合特征训练的七个ML分类器的总体测试准确性；（b）七个ML分类器在单传感模态特征和多传感器融合特征上训练的AUC-ROC结果
图3 神经网络分类器在（a）声学特征；（b）视觉特征；（c）热特征；（d）多传感器融合特征上训练缺陷分类任务的ROC曲线
（3）研究通过沉积样品演示了提出的MFDT方法的功能。图4展示了打印结构的物理质量，结果显示初始层存在无缺陷区，中间层存在裂纹，上层中存在锁孔。结合预测的质量值和位置信息构建虚拟质量图，预测的虚拟质量图与OM获取的物理质量值非常吻合。此外，仅使用视觉、声学或特征预测的虚拟质量图明显表现较差，仅视觉和仅声学的预测结果高估了缺陷的产生（即将无缺陷区预测为有缺陷区），而仅热特征的预测结果低估了缺陷的产生。因此，与单传感器监测方法相比，多传感器融合被证明是一种更可靠、更稳健的方法。
图4 神经网络模型训练生成的虚拟质量图的可视化与OM获取结果的比较。（a）光学显微镜获取的真实缺陷；（b）具有多传感器融合特征的缺陷预测（结合了所有声学、视觉和热特征）；（c）仅视觉特征的缺陷预测；（d）仅声学特征的缺陷预测；（e）仅热特征的缺陷预测
致谢
这项研究由新加坡科学技术与研究局通过职业发展基金（No.C210812030）的资助。同时，本研究还获得新加坡3D打印中心（SC3DP）、新加坡总理办公室国家研究基金的支持，以及“一带一路”创新人才交流项目（No.DL2022030010L）的资助。本文通讯作者：Yao Xiling（Singapore Institute of Manufacturing Technology (SIMTech), A*STAR, 5 Cleantech Loop, 636732, Singapore），Seung Ki Moon（School of Mechanical and Aerospace Engineering, Nanyang Technological University, 639798, Singapore）。
免责声明：本文旨在传递更多科研资讯及分享，所有其他媒、网来源均注明出处，如涉及版权问题，请作者第一时间联系我们，我们将协调进行处理，最终解释权归旭为光电所有。
