【导读】

材料挤出是最广泛使用的增材制造方法，但其在最终产品应用中受限于易出错性。虽然可以人工检测误差，但无法提供持续监控和实时校准。现有自动3D打印监测软件方法缺乏通用性，不适用于不同的部件、材料和打印系统。2022年8月，剑桥大学Douglas A. J. Brio团队在Nature Communications 上发表了题为Generalisable 3D printing error detection and correction via multi-head neural networks 的研究新成果。在该论文中，研究人员使用偏离最佳打印参数自动标记的图像训练多头神经网络；将训练好的神经网络与控制回路结合，可以实时检测和快速纠正各种错误，该方法适用于不同的几何形状、材料、打印机、打印路径、挤出方法；同时，创建网络预测的可视化来阐明它如何做出决策。此方法可以实时检测和纠正各种不同的错误，适用于新老设备，以增强打印能力，并且可以自己学习如何打印新材料。

CAXTON自主数据采集系统

研究人员利用CAXTON自主数据采集系统，根据与最佳打印参数的偏差自动标记错误，创建大量且多样的数据集，其中包含来自192个不同部件的120万张图像，并标有打印参数。

该系统自动化了从STL文件选择到打印路径规划、数据收集和存储的整个过程（图1a）。系统是由8台FDM 3D打印机组成的网络，配备廉价的摄像头聚焦在喷嘴尖端，以监测材料沉积（图1b）；使用随机选择的切片参数，单个输入几何图形生成打印路径的渲染图（图1c）。在打印期间通过相机收集的数据快照，显示具有不同参数组合的图像（图1d）。为了减少打印过程中的人工干预、实现连续打印和数据收集，利用现有的运动系统设计零件移除系统（图1e）。CAXTON收集的完整数据集中归一化参数的分布（图1f）。

图1 用于自动数据收集的CAXTON系统概述

多头神经网络

研究人员利用具有单个主干和四个的多头深度残差注意网络（图2a），使系统能够同时实时检测和校正多个参数，甚至识别多个解决方案来解决相同的错误。可视化网络在每个模块关注的特征（图2b）。数据集中的图像通过数据增强技术（图2e），来模拟更广泛的几何形状、相机位置和材料。网络的训练过程分为三个独立的阶段，并使用迁移学习，图2d显示三个阶段的训练和验证精度图，图2c显示每个参数的测试数据集进行三个阶段的培训后最终的网络混淆矩阵。

图2 多头残余注意网络的体系结构、性能和可视化方法

在线校准参数

研究人员利用训练好的神经网络与控制回路，在线校准参数。打印过程中，拍摄喷嘴尖端和材料沉积的图像，发送到本地服务器进行推断，并进行在线参数更新（图3a）。反馈控制环路中利用比例参数更新（图3b）和打印路径拆分（图3c），使校正速度提高了一个数量级。

图3 机器视觉控制系统流程及反馈参数

研究人员验证了该系统的校正能力。使用聚乳酸原料在已知打印机上打印，带有未在培训数据中使用的0.4 mm喷嘴，使用训练好的神经网络快速修正人工引起的单参数错误（图4a）。在线同步优化四种不同的热塑性聚合物的多个错误参数（图4b）。系统可以使用自学习的参数关系来进行纠正预测（图4c）。图4d显示相同的条件下，区别在于是否修正打印过程中的多个错误打印参数。图4e显示每个扳手在相同的条件下，使用错误的参数组合开始并更正打印。

图4 打印机和原料不可知的在线参数校正

图5 系统通用性—可适配多种打印机和挤出方法

网络预测的可视化

研究人员利用两种可视化方法来帮助用户深入了解经过训练的神经网络如何进行预测，以帮助基本理解并帮助建立信任或实现可追溯性。其一，利用引导反向传播，图6a显示由不同参数引起的欠挤出、良好挤出和过度挤出的典型示例图像，表面显示网络在参数之间使用相似的特征来识别相同的物理特性。其二，利用梯度加权类激活映射应用于每个参数的共享网络主干的每一层，图6bc显示了第一层和最后一层的可视化结果。不同阶段的引导反向传播和梯度加权类激活映射中显示的趋势也适用于不同的不可见挤出方法中，例如墨水直写（图 6d）。

图6 对每个参数使用单独的显着图的视觉解释可能有助于验证网络的稳健性

总结与展望

研究团队开发一种易于部署的方法，该方法使用廉价的摄像头和单个多头深度卷积神经网络来增强任何基于挤出的 3D 打印机，与优化后的控制回路结合，实时检测和纠正各种不同的错误，并为新的材料提供错误检测、校正和参数发现；使用网络预测可视化使用户深入了解网络关注的特征。将来，该方法在发现错误方面比人类操作员更有效和更可靠，提高产品的质量；打印机可以持续打印并且实时检测并修正各种打印错误，自动学习新材料、新打印机的打印，提高制造效率。

【原文信息】

Douglas A. J. Brion, Sebastian W. Pattinson. Generalisable 3D printing error detection and correction via multi-head neural networks. Nature Communications.2022,13: 4654.

https://doi.org/10.1038/s41467-022-31985-y