audt杂志最近发表论文基于超声影像的病灶分割的深度学习模型。《deep learning modelsfor segmentation of lesion based on ultrasound images》展示了在超声领域的最新研究成果。本文截取其片段，以飨读者。
目标：超声检查被广泛应用于甲状腺癌、乳腺癌等许多疾病的诊断，且超声图像中病灶边界的精准勾画对临床指标的计算和疾病的早期诊断具有重要意义。然而，由于病灶表征不均匀且缺乏背景对比度，精确地自动分割病灶非常具有挑战性。
方法：在本研究中，我们设计了一种预训练的深度卷积神经网络模型对超声图像中的病灶进行全自动的分割。具体地，我们所提出的模型以正常组织的超声全图与病灶的超声全图作为输入，输出分割概率图，且采用了预训练的策略提升网络模型的分割性能。此外，我们对比了其他的卷积神经网络模型分割甲状腺结节超声图像与乳腺结节超声图像的性能。
结果：实验结果以真阳性率(truepositive rate，tp)，假阳性率(falsepositive rate，fp)，重叠率(overlapmetric，om)与 dice 比(and dice ratio ，dr)评估，且甲状腺结节分割的平均性能om,dr, tp, fp 分别为0.8943, 0.9558,0.9694, 0.0569;乳腺结节分割的平均性能om, dr, tp, fp 分别为 0.8572, 0.9001, 0.9497, 0.8619。
结论：我们所提出的分割病灶超声图像的卷积神经网络方法是全自动的，不需人机交互，能够很好代替费时费力的人工分割方法，这也表明我们的方法在临床上具有很大的潜在应用价值。
源引：audt, 2018,2(2):83-93
图1. 本研究所提出的卷积神经网络对超声图像进行分割的流程。这里2d 代表两维，rois 表示感兴趣区域，cnn 表示卷积神经网络
一些癌症在早期诊断出来是有可能治愈的，因此正确区分良恶性病灶是保证临床上正确处理恶性病灶的必要条件。病灶的自动勾画和特征分析非常有利于对早期癌症的诊断。超声检查广泛用于甲状腺结节[1,2]、乳腺结节[3]等疾病的诊断和随访。
图2. 用于训练卷积神经网络模型的甲状腺结节原图与正常的甲状腺原图(上)以及对应的二值mask 图
然而，超声图像容易受到回波扰动和斑点噪声的影响，这使得基于超声图像对病灶进行评估成为一项具有挑战性的任务。此外，医生需要很长一段时间学习来获得诊断甲状腺结节和乳腺结节等不同病灶以及风险评估特征的技能，且这样诊断方法很难去除主观因素影响[4]。为了克服这些缺点，计算机辅助检测方法已被开发出来，以准确地勾画病灶。
图3.用于训练卷积神经网络模型的乳腺结节原图与正常的乳原图(上)以及对应的二值mask 图
计算机辅助诊断系统通过检测、分割和分类病灶来辅助医生早期发现一些癌症。准确的病灶分割是每一个计算机辅助诊断系统的前提和基础步骤，其保证了该计算机辅助诊断系统的性能。然而由于光照不对称，超声图像在某些位置的对比度较低。
图4. 所提出的卷积神经网络的工作流程。首先该网络模型基于imagenet进行预训练，然后经预训练的网络再以2维的超声影像为输入，产生病灶的分割概率图
此外，折射、散斑、声阴影、混响回波等使超声图像变得模糊，噪声大，因此基于超声图像的病灶分割是计算机辅助诊断系统中一项具有挑战性的任务。而病灶形状各异以及其可以附着在具有相同回声信息的其他组织表面，这些使得分割任务更加困难。
图5.利用预训练的卷积神经网络(pcnn) 生成甲状腺图像的分割概率图。第一行为甲状腺结节原图和正常甲状腺原图;第二行和第三行分别显示了人工勾画的真实结果和pcnn生成的分割概率图
在临床需求和相关应用的驱动下，迫切需要开发自动精准的分割方法来减少对操作人员的依赖。无论是参数化[4]还是水平集形式[5,6]的活动轮廓模型是用来对超声病灶图像进行分析的主要方法。然而，活动轮廓模型的性能依赖于初始化和预处理。已有一些研究基于传统学习方法的模型进行超声图像分割[7-9]。
图6.利用预训练的卷积神经网络(pcnn) 生成乳腺图像的分割概率图。第一行为乳腺结节原图和正常乳腺原图;第二行和第三行分别显示了人工勾画的真实结果和pcnn生成的分割概率图
这些传统学习方法大多是基于经过一系列的预处理，人工提取图像特征。此外，有效特征的提取是一项非常复杂的任务，需要分类器进行特征选择和特征整合。近年来，随着卷积神经网络等深度学习技术在图像分类[10]、目标检测[11]、语义分割等一般图像分析领域的成功应用[12-14]。
图7.分别利用训练前的卷积神经网络(pcnn)和未经训练的卷积神经网络(ncnn)对甲状腺结节图像进行分割。第一行为原始图像;真实分割结果用绿色表示;pcnn和ncnn的分割结果分别在第二行和第三行表示为红色
鉴于卷积神经网络自然图像处理的成功应用，该方法也被用于医学图像分割或损伤检测,超声图像分割研究也被广泛采用该方法，如基于卷积神经网络检测乳腺癌组织学图像中的有丝分裂[15,16],利用深度卷积神经网络分割多模态同强度的婴儿脑部图像[17,18],通过结合传统的纹理分析方法与卷积神经网络方法自动检测和测量腹部轮廓的二维胎儿超声图像[19],以及基于卷积神经网络对超声图像的甲状腺结节分割[20,21]。
图8. 分别利用训练前的卷积神经网络(pcnn)和未经训练的卷积神经网络(ncnn)对乳腺结节图像进行分割。第一行为原始图像;真实分割结果用绿色表示;pcnn和ncnn的分割结果分别在第二行和第三行表示为红色
本研究工作是在我们前期研究[20,21]基础上实现的，这里采用了一种预训练卷积神经网络(pcnn)基于二维超声图像全图进行病灶分割。具体来说，我们所提出的pcnn将整个超声图像作为输入，生成病灶的分割概率图，这符合临床对鲁棒性、易用性和处理时间短的要求。
首先，由专家医生手动勾画出超声图像中感兴趣的区域(即病灶区域)。
其次，基于imagenet数据集[10]对卷积神经网络pcnn进行预训练。
最后，将pcnn用于二维超声图像的病灶分割。
audt：本研究的主要贡献包括以下三个方面:
1. 我们使用卷积神经网络开发了一个二维超声图像的病灶自动分割模型。此外，采用了预训练策略来提高该卷积神经网络模型的性能。
2. 本研究实验对临床乳腺图像及甲状腺超声图像进行了研究。此外，在没有任何人工干预或后处理的情况下，取得了比较客观和惊喜的分割结果。
3. 我们提出的方法可以非常快速地分割甲状腺结节和乳腺结节，且不需任何额外的安装费用。在日常临床应用中具有广阔的应用前景，例如对病灶的自动勾画。
图9. 我们所提出的卷积神经网络(pcnn)和其他卷积神经网络方法分割甲状腺结节。第一行为原始图像。真实分割结果用绿色表示。第二、三、四、五行图像的红色轮廓分别显示了我们网络模型pcnn以及resnet 模型、vgg模型和zeiler模型的分割结果
图10. 预训练的卷积神经网络(pcnn)和未经预训练的卷积神经网络(ncnn)对甲状腺结节分割不正确的案例。第一行为原始图像; pcnn和ncnn的分割结果分别显示在第二行和第三行，其中绿色为真实分割结果，红色为模型分割结果
图11. 预训练的卷积神经网络(pcnn)和未经预训练的卷积神经网络(ncnn)对乳腺结节分割不正确的案例。第一行为原始图像; pcnn和ncnn的分割结果分别显示在第二行和第三行，其中绿色为真实分割结果，红色为模型分割结果
audt：我们的研究重点是基于超声图像的病灶分割，具体研究组织如下，在第二部分中，对研究所需材料和建立的模型进行了详细的描述。第三节给出了pcnn模型的实现细节和结果。在第四节中，我们讨论了模型分割甲状腺结节与乳腺结节的结果、性能，并与文献中相关技术的结果进行了比较。最后，第五部分给出结论。
引用：jinlian ma, dexing kong. deep learning modelsfor segmentation of lesion based on ultrasound images.audt, 2018, 2(2): 83-93.
通信作者简介
孔德兴，复旦大学理学、哈佛大学后;浙江大学数学科学学院求是特聘教授、生导师;浙江大学医学院附属第一医院双聘教授;浙江大学应用数学研究所所长、浙江大学理学部图像处理研发中心主任;大数据算法与分析技术国家工程实验室杭州创新中心主任;中国人民解放军总医院客座教授、中国人民解放军医学院客座教授、英国northumbriauniversity客座教授等职;中国工业与应用数学学会数学与医学交叉专业委员会主任委员、中国生物医学工程学会医学分会副主任委员、中国医学装备联盟专家委员会委员、中国医学装备协会超声分会大数据与专委会主任、浙江省数理医学学会理事长等;曾任理论物理国际中心(意大利)访问科学家、日本学术振兴会特别研究员、德国einstein研究所访问教授、美国纽约大学courant数学研究所访问学者等职;在国际著名学术期刊上发表学术论文130多篇，申请国家发明专利22项。承担包括国家自然科学基金重大研究计划集成项目在内的多项国家自然科学基金项目以及浙江省重大科技专项等科技项目。
研究方向：医学大数据与、医学影像学、数理医学、医学智能机器人。
