【导读】

生物组织的正常功能依赖于协调的细胞和亚细胞活动，荧光显微镜具有良好的分子特异性和高时空分辨率，可以用于观察和记录这些现象。但光子检测不可避免的随机性会引起光子散粒噪声，这会增加测量的不确定性，并限制了成像的分辨率、速度和灵敏度。近期，清华大学的戴琼海院士团队实现了超过散粒噪声极限的高灵敏度荧光成像，在《Nature Biotechnology》上发表了题为《Real-time denoising enables high-sensitivity fluorescence time-lapse imaging beyond the  shot-noise limit》的研究成果，提出一种用于实时噪声抑制的自监督深度学习方法(DeepCAD-RT)，实现双光子显微镜上的实时图像去噪处理。与标准成像方法相比，可以用更少(10倍)的光子获得高成像信噪比。并在一系列光子限制实验中展示了DeepCAD-RT的实用性，包括小鼠、斑马鱼幼体和果蝇的体内钙成像、记录急性脑损伤后中性粒细胞的三维（3D）迁移，以及大脑皮质ATP释放的三维动力学成像。DeepCAD-RT将促进生物动力学的形态学和功能检测的发展。

方法

一、成像系统

该光学装置集成了两个双光子显微镜。其中一个是标准的双光子显微镜（蓝色框），具有多色检测能力，可用于多标记成像和跨系统验证；另一个是定制设计的双光子显微镜（黄色框），用于同步捕获低信噪比和高信噪比（十倍荧光光子）图像，用于结果验证。

图1 成像光路

二、成像方法与步骤

① 系统校准——首先对绿色荧光微球进行成像，校准这两个成像系统，以获得一致的横向和轴向分辨率，并使高信噪比检测路径的荧光光子的数量大约十倍于低信噪比检测路径。

② 模型简化——具有更多可训练参数的大型模型，存在训练和推理时间长、内存消耗大和严重的过拟合的缺点，这里通过简化网络架构来解决上述问题。

③ 数据扩增——为了降低方法的数据依赖性，进一步消除过拟合，研究者设计了12倍的数据扩增，从少量数据中生成足够的训练对。

④ 网络架构——为了充分利用荧光成像数据中的时空相关性，网络内的所有操作都是在3D中实现的。

⑤ 实时实现DeepCAD-RT——实现成像采集过程中的实时处理，制作程序接口，将DeepCAD-RT纳入到图像采集软件。

⑥ 动物样品制备和荧光成像——研究中使用多种动物模型（小鼠、斑马鱼和果蝇）和荧光标记方法（钙、中性粒细胞和神经递质ATP释放）。

结果

一、DeepCAD-RT实时处理的综合优化

首先通过特征剪枝来简化模型实现优化（Fig.2 a），其次通过进一步优化GPU上深度神经网络的部署来实现加速（Fig.2 b），接着分别编写了三个并行线程进行图像采集、数据处理和显示来实现处理速度最大化（Fig.2 c）。最后在双光子显微镜上使用DeepCAD-RT实现实时去噪（Fig.2 d），原始噪声数据和相应的去噪后数据同步显示，并在成像结束时自动保存为独立的文件。

图2 DeepCAD-RT深度学习网络的优化和实时调度

二、实时去噪应用于生物钙成像

DeepCAD-RT具有良好的性能和适用性，通过计算去除散粒噪声来最小化激发功率和光子诱导的干扰，应用于钙成像中非常有前景。为了证明该方法的性能和通用性，研究人员在小鼠(Fig.3(a))、斑马鱼(Fig.3(c))和果蝇(Fig.3(f))样本中进行了钙成像实验。

Fig.3(a)为小鼠皮层中树突棘的钙成像，显示了低信噪比原始数据（上），DeepCAD-RT去噪数据（中）和具有10倍荧光光子的同步高信噪比数据（下），该方法使图像的信噪比得到了显著的提高，即使单帧图像也可以清晰地分辨出树突棘结构。统计分析表明，经过去噪后，所有三维图像的相关性都可以显著改善Fig.3(b)。 

图3 小鼠、斑马鱼和果蝇中进行钙成像去噪

三、低激发功率下观察体内中性白细胞（免疫细胞）的迁移

研究人员用定制系统同时获取低信噪比和高信噪比图像对，从噪声和形态特征随着时间的演变中恢复不同形态的中性白细胞(Fig.4(a-c))。中性白细胞的迁移可以在去噪数据中直接可视化，而不会淹没在低信噪比原始数据的噪声中 (Fig.4(d))。此外，Fig.4(e)中的定量评价还表明，去噪数据与高信噪比数据的相关性更强。在进行数据增强后，Fig.4(f)中可以看到中性白细胞迁移过程中收缩纤维的动态变化。

当原始数据的信噪比很低时，由于散粒噪声的污染，细胞的结构和动力学无法可视化(Fig.4(g))。但在使用数据增强后的DeepCAD-RT方法对这些低信噪比原始数据进行去噪后(Fig.4(h))，散粒噪声得到有效抑制，中性白细胞迁移的三维动力学变得清晰可见。

图4 观察小鼠大脑皮层的中性白细胞三维迁移

四、DeepCAD-RT有助于记录神经递质动力学信息

散粒噪声会降低图像的信噪比，限制其在体内的表征和应用。研究人员验证了DeepCAD-RT方法在活鼠神经递质成像中的去噪性能。在Fig.5(a)的低信噪比的原始数据中，镜头噪声淹没了神经递质(ATP)释放信号。实验结果显示，去噪后的数据能够揭示更多细微的ATP发放活动(Fig.5(d-f))，从而有助于获取ATP释放位置、时间、发放点位的三维形状等更完整的统计结论。

图5 DeepCAD-RT在活鼠神经递质成像上的去噪性能

总结与讨论

研究人员提出了一种通用的方法来实现荧光图像去噪和处理速度提高，可以在显微镜采集系统上实现实时去噪。该方法是基于深度自监督学习，原始的低信噪比数据可以直接用于训练卷积网络，应用于荧光图像中去除散粒噪声，改善功能成像效果。定性和定量分析表明，DeepCAD-RT方法可以显著增强荧光延时成像数据，并允许超过散粒噪声极限的高灵敏度生物动力学成像。该方法及其未来的变体将有利于超分辨率显微镜的发展。

【原文信息】

Li X, Li Y, Zhou Y, Wu J, Zhao Z, Fan J, Deng F, Wu Z, Xiao G, He J, Zhang Y. Real-time denoising enables high-sensitivity fluorescence time-lapse imaging beyond the shot-noise limit. Nature Biotechnology. 2022 Sep 26:1-1.