技术说明：通过深度学习提高图像质量

技术说明
通过深度学习提高图像质量
利用残差通道注意力网络（RCAN）还原和增强容积延时荧光显微镜数据
Authors
作者
Luciano Lucas博士 
总监——Aivia
徕卡显微系统，德国韦茨拉尔
Quyen Tran博士 
科学应用与市场经理——Aivia 
徕卡显微系统，美国贝尔维尤
Hoyin Lai
内容营销经理/高级应用专员——Aivia
徕卡显微系统，美国贝尔维尤
AIVIA - IMAGE RESTORATION WITH 3D RCAN NETWORKS
AIVIA - 利用3D RCAN还原图像

双色共焦图像的分辨率增强。训练用的原始图像在Leica SP8系统上拍摄，（A）共焦模式的核孔复合物（白色）和微管（绿色）；（B）STED模式拍摄的图像。（C）使用深度学习模型将共焦图像的空间分辨率提升到接近STED质量。
对于收集到的活细胞3D数据，3D RCAN可以有效避免光漂白，允许我们拍摄长时间的超分辨率3D图像数据。 实际应用中，图像分辨率非常好，我们甚至能够在3D图像中长时间观察到线粒体和囊泡的相互作用。 3D RCAN的图像去模糊效果也比其他测试方法更好。 

我们还使用受激发射损耗（STED）拍摄的实验数据来训练RCAN模型，用以测试RCAN的性能。相比共聚焦的空间分辨率，RCAN在多个固定或活细胞样品中实现了2.5倍的提升，与STED的提升效果类似。值得注意的是，反卷积共聚焦数据无法实现类似的分辨率提升。 

研究人员还开发了将RCAN与膨胀显微术（expansion microscopy）相结合以提升iSIM分辨率的方案。 在细胞爬片样本，线粒体和微管动力学的4D研究中，这种方法可以实现1.9倍的横向分辨率和3.6倍的轴向分辨率提升。 需要注意的是，膨胀显微术不能应用于活体样本成像。 

基于这些结果，作者认为，相比现有方法（例如光片显微镜和转盘共聚焦成像设备），3D RCAN与高分辨率、多噪点的共聚焦显微镜或iSIM相结合可以成为3D活细胞成像的精妙方案。作者还在考虑使用这种方法进一步改善其他显微成像模式。

表达EGFP-Tomm20的U20S活细胞图像。高放大倍率视图，原始iSIM、去卷积iSIM和 RCAN预测进行比较。红色剪头表明RCAN可以比iSIM更好地解析线粒体。图片来源：Nature Methods
如何使用3D RCAN模式
在GitHub和我们的网页上可以找到代码、数据以及经过训练的深度学习模式。此外，我们还在Aivia中部署了所有预训练模型，因此每个人都能将其轻松用于自己的数据。Aivia用户还可以添加训练数据，以针对自己的成像/采样工作优化我们的预训练模型。
本项研究刊载于2021年6月出版的《Nature Methods》杂志上。

了解更多：徕卡显微