0、引言
医学图像处理的对象是各种不同成像机理的医学影像，临床广泛使用的医学成像种类主要有x-射线成像 (x-ct)、核磁共振成像(mri)、核医学成像(nmi)和超声波成像(ui)四类。在目前的影像医疗诊断中，主要是通过观察一组二维切片图象去发现病变体，这往往需要借助医生的经验来判定。利用计算机图象处理技术对二维切片图象进行分析和处理，实现对人体器官、软组织和病变体的分割提取、三维重建和三维显示，可以辅助医生对病变体及其它感兴趣的区域进行定性甚至 定量的分析，从而大大提高医疗诊断的准确性和可靠性;在医疗教学、手术规划、手术仿真及各种医学研究中也能起重要的辅助作用[1,2]。目前，医学图像处理主要集中表现在病变检测、图像分割、图像配准及图像融合四个方面。
用深度学习方法进行数据分析呈现快速增长趋势，称为2013年的10项突破性技术之一。深度学习是人工神经网络的改进，由更多层组成，允许更高层次包含更多抽象信息来进行数据预测。迄今为止，它已成为计算机视觉领域中领先的工具，深度神经网络学习自动从原始数据(图像)获得的中级和高级抽象特征。最近的结果表明，从cnn中提取的信息在自然图像中的对目标识别和定位方面非常有效。世界各地的医学图像处理机构已经迅速进入该领域，并将cnn和其它深度学习方法应用于各种医学图像分析。
在医学成像中，疾病的准确诊断和评估取决于医学图像的采集和图像解释。近年来，图像采集已经得到了显着改善，设备以更快的速率和更高的分辨率采集数据。然而，图像解释过程，最近才开始受益于计算机技术。对医学图像的解释大多数都是由医生进行的，然而医学图像解释受到医生主观性、医生巨大差异认知和疲劳的限制。
用于图像处理的典型cnn架构由一系列卷积网络组成，其中包含有一系列数据缩减即池化层。与人脑中的低级视觉处理一样，卷积网络检测提取图像特征，例如可能表示直边的线或圆(例如器官检测)或圆圈(结肠息肉检测)，然后是更高阶的特征，例如局部和全局形状和纹理特征提取[3]。cnn的输出通常是一个或多个概率或种类标签。
cnn是高度可并行化的算法。与单核的cpu处理相比，今天使用的图形处理单元(gpu)计算机芯片实现了大幅加速(大约40倍)。在医学图像处理中，gpu首先被引入用于分割和重建，然后用于。由于cnn的新变种的发展以及针对现代gpu优化的高效并行网络框架的出现，深度神经网络吸引了商业兴趣。从头开始训练深度cnn是一项挑战[4]。首先，cnn需要大量标记的训练数据，这一要求在专家注释昂贵且疾病稀缺的医学领域中可能难以满足。其次，训练深度cnn需要大量的计算和内存资源，否则训练过程将是非常耗时。第三，深度cnn训练过程中由于过度拟合和收敛问题而复杂化，这通常需要对网络的框架结构或学习参数进行重复调整，以确保所有层都以相当的速度学习[5]。鉴于这些困难，一些新的学习方案，称为“迁移学习”和“微调”，被证明可以解决上述问题从而越来越受欢迎。
1、病变检测
计算机辅助检测(cad)是医学图像分析的有待完善的领域，并且非常适合引入深度学习。在cad 的标准方法中，一般通过监督方法或经典图像处理技术(如过滤和数学形态学)检测候选病变位置。病变位置检测是分阶段的，并且通常由大量手工制作的特征描述。将分类器用于特征向量映射到候选者来检测实际病变的概率。采用深度学习的直接方式是训练cnn操作一组以图像为中心的图像数据候选病变。setio等在3d胸部ct扫描中检测肺结节，并在九个不同方向上提取以这些候选者为中心的2d贴片[6]，使用不同cnn的组合来对每个候选者进行分类，cad系统结构如图1所示。根据检测结果显示，与先前公布的用于相同任务的经典cad系统相比略有改进。罗斯等人应用cnn改进三种现有的cad系统，用于检测ct成像中的结肠息肉，硬化性脊柱变形和淋巴结肿大[7]。他们还在三个正交方向上使用先前开发的候选检测器和2d贴片，以及多达100个随机旋转的视图。随机旋转的“2.5d”视图是从原始3d数据分解图像的方法。采用cnn对这些2.5d视图图像检测然后汇总，来提高检测的准确率。对于使用cnn的三个cad系统，病变检测的准确率度提高了13-34%，而使用非深度学习分类器(例如支持向量机)几乎不可能实现这种程度的提升。早在1996年，sahiner等人就已将cnn应用于医学图像处理。从乳房x线照片中提取肿块或正常组织的roi。 cnn由输入层，两个隐藏层和输出层组成，并用于反向传播。在“gpu时代”以前，训练时间被描述为“计算密集型”，但没有给出任何时间。1993年，cnn应用于肺结节检测;1995年cnn用于检测乳腺摄影中的微钙化。
图1.cad系统概述。(a)从立方体的九个对称平面中提取的二维斑块的示例。候选者位于贴片的中心，边界框为50 50 mm和64 64 px。(b)通过合并专门为固体，亚固体和大结节设计的探测器的输出来检测候选人。误报减少阶段是作为多个convnets的组合实现的。每个convnets流处理从特定视图中提取的2-d补丁。(c)融合每个convnet流输出的不同方法。 灰色和橙色框表示来自第一个完全连接的层和结节分类输出的连接神经元。 使用完全连接的层与softmax或固定组合器(产品规则)组合神经元。(a)使用体积对象的九个视图提取二维补丁。(b)拟议系统的示意图。(c)融合方法。
图2.结肠息肉的检测：不同息肉大小的f，使用792测试ct结肠成像患者的随机视图convnet观察。
下一篇：当医学影像遇上深度学习