效率提高上千倍！算法赋能成像：速度“快”起来。 随着生物医学成像的数据采集技术的迅速提高和广泛应用，数字化数据量巨大。以荧光显微镜技术为例，为了更多更高分辨率的图像，这些数据可以达到gb甚至tb级别，它们的后处理，比如提高图像分辨率和对比度的去卷积和多视角图像融合，通常耗时远远超过数据采集时间。如何对这样的问题进行处理，已经成为当前医学成像领域需要解决的共性问题。
近日，浙江大学光电科学与工程学院和美国国立卫生研究院(nih)联合在 biotechnology在线发表题为rapid image deconvolution and multiview fusion for optical microscopy的研究论文，提出了荧光显微镜图像去卷积和多视角图像融合的新技术，使荧光显微镜图像后处理的效率提高了数十甚至上千倍。
浙江大学光电科学与工程学院的生李玥和nih的郭敏为论文的共同第一作者，nih的吴一聪和浙江大学的刘华锋教授是本文的共同通讯作者。
研究团队首先修改了显微镜图像后处理过程中常用的去卷积算法，使其运行更快。对于通常受泊松噪声影响及点扩展函数退化的图像，理查德森-露西去卷积（rld）可以通过迭代的方式获得去模糊的样本估计，并且可以用来实现同一样品的多个不同视角图像的融合。然而，为了得到满意的结果，rld通常需要大量迭代处理时间。rld的迭代更新公式如下：
其中，i为采集到的图像，f和b是前向投影算子和反向投影算子，ek和ek 1分别是样本在第k次和第k 1次迭代的估计结果。一般使用显微镜点扩展函数。传统rld中，一般取为的转置，称为匹配的反向投影算子。在医学图像重建领域中，一个非匹配的反向投影算子可以加速去卷积的迭代过程。研究团队首次将这一理论应用于荧光显微镜去卷积中，设计出了三种不同的反向投影算子，分别是高斯反向投影算子(gaussian)、巴特沃斯反向投影算子(butterworth)、维纳-巴特沃斯反向投影算子(wiener-butterworth)（图1）。特别是提出的维纳-巴特沃斯反向投影算子，对于论文中多种数据都实现了只需一次迭代就能获得满意的结果。
图 1 非匹配反投影算子可以减少理查德森-露西去卷积需要的迭代次数。a)前向投影算子和反向投影算子的结果展示。c)使用不同反向投影算子对线粒体图像进行去卷积结果。d) c中结果的局部放大图。a和b中scalebar在空域和频域分别为1 μm和1/100 nm-1。c和d中scalebar分别为10 µm和1 µm。
其次，研究团队将图像配准算法改进并应用到gpu上，并在进行复杂的3d图像配准前实行了一个初步的2d配准，实现更快更稳定的表现效果以及30-175倍的配准提速。
对毫米级大型透明组织数据，研究团队提出了一个针对tb尺寸的单个3d图像处理流程：将原始3d图像切分成子块，每个子块进行配准和去卷积，最后将处理后的子串进行拼接，最终形成各向同性的亚微米分辨率的大型三维图像（图2）。
图 2 小鼠脑组织（4*2*0.5 mm3）透明成像的三维图像，scalebar依次为500 µm，100 µm，30 µm，10 µm。
最后，为了加速空间变化点扩展函数模糊的显微镜图像去卷积过程，研究团队还设计了一种3d全卷积结构的网络模型densedeconnet（图3）。与维纳-巴特沃斯反投影算子针对变化点扩展函数去卷积的任务相比，进一步实现了50倍的加速。
图 3 用于去卷积的densedeconnet结构
本文中， nih的hari shroff组织协调了20多个研究单位共同参与上述优化算法的应用研究，使用了多种尺寸由微米级至毫米级的数据进行效果验证，涉及七种不同类型的显微镜，最终实现了几十至上千倍的图像后处理加速。毫无疑问，这些优化算法可以加速基于图像的生物观察，为现代新型荧光显微镜的研究提供了更多可能。（来源：科学网）
相关论文信息：doi：10.1038/s41587-020-0560-x
作者：刘华锋等 来源：《自然-生物技术》
下一篇：神经元原位再生有望治疗帕金森症