随着生物医学成像的数据采集技术的迅速提高和广泛应用，数字化数据量巨大。以荧光显微镜技术为例，为了更多更高分辨率的图像，这些数据可以达到GB甚至TB级别，它们的后处理，比如提高图像分辨率和对比度的去卷积和多视角图像融合，通常耗时远远超过数据采集时间。如何对这样的问题进行处理，已经成为当前医学成像领域需要解决的共性问题。

近日，浙江大学光电科学与工程学院和美国国立卫生研究院(NIH)联合在Nature Biotechnology在线发表题为“Rapid image deconvolution and multiview fusion for optical microscopy”的研究论文，提出了荧光显微镜图像去卷积和多视角图像融合的新技术，使荧光显微镜图像后处理的效率提高了数十甚至上千倍。

浙江大学光电科学与工程学院的博士生李玥和NIH的郭敏博士为论文的共同第一作者，NIH的吴一聪博士和浙江大学的刘华锋教授是本文的共同通讯作者。

研究团队首先修改了显微镜图像后处理过程中常用的去卷积算法，使其运行更快。对于通常受泊松噪声影响及点扩展函数退化的图像，理查德森-露西去卷积（RLD）可以通过迭代的方式获得去模糊的样本估计，并且可以用来实现同一样品的多个不同视角图像的融合。然而，为了得到满意的结果，RLD通常需要大量迭代处理时间。RLD的迭代更新公式如下：

其中，i为采集到的图像，f和b是前向投影算子和反向投影算子，e^k和e^k+1分别是样本在第k次和第k+1次迭代的估计结果。一般使用显微镜点扩展函数。传统RLD中，一般取为的转置，称为匹配的反向投影算子。在医学图像重建领域中，一个非匹配的反向投影算子可以加速去卷积的迭代过程。研究团队首次将这一理论应用于荧光显微镜去卷积中，设计出了三种不同的反向投影算子，分别是高斯反向投影算子(Gaussian)、巴特沃斯反向投影算子(Butterworth)、维纳-巴特沃斯反向投影算子(Wiener-Butterworth)（图1）。特别是提出的维纳-巴特沃斯反向投影算子，对于论文中多种数据都实现了只需一次迭代就能获得满意的结果。

图 1 非匹配反投影算子可以减少理查德森-露西去卷积需要的迭代次数。a)前向投影算子和反向投影算子的结果展示。c)使用不同反向投影算子对线粒体图像进行去卷积结果。d) c中结果的局部放大图。a和b中scalebar在空域和频域分别为1 μm和1/100 nm^-1。c和d中scalebar分别为10 µm和1 µm。

其次，研究团队将图像配准算法改进并应用到GPU上，并在进行复杂的3D图像配准前实行了一个初步的2D配准，实现更快更稳定的表现效果以及30-175倍的配准提速。

对毫米级大型透明组织数据，研究团队提出了一个针对TB尺寸的单个3D图像处理流程：将原始3D图像切分成子块，每个子块进行配准和去卷积，最后将处理后的子串进行拼接，最终形成各向同性的亚微米分辨率的大型三维图像（图2）。

图 2 小鼠脑组织（4*2*0.5 mm³）透明成像的三维图像，Scalebar依次为500 µm，100 µm，30 µm，10 µm。

最后，为了加速空间变化点扩展函数模糊的显微镜图像去卷积过程，研究团队还设计了一种3D全卷积结构的网络模型DenseDeconNet（图3）。与维纳-巴特沃斯反投影算子针对变化点扩展函数去卷积的任务相比，进一步实现了50倍的加速。

图 3 用于去卷积的DenseDeconNet结构

本文中， NIH的Hari Shroff博士组织协调了20多个研究单位共同参与上述优化算法的应用研究，使用了多种尺寸由微米级至毫米级的数据进行效果验证，涉及七种不同类型的显微镜，最终实现了几十至上千倍的图像后处理加速。毫无疑问，这些优化算法可以加速基于图像的生物观察，为现代新型荧光显微镜的研究提供了更多可能。（来源：科学网）

相关论文信息：DOI：10.1038/s41587-020-0560-x