卵巢癌(ovarian cancer,oc)是妇科恶性肿瘤,依据其细胞来源可分为上皮性卵巢癌(epithelial ovarian cancer,eoc)和非上皮性卵巢癌。其中,eoc发病人数占原发oc的90%。eoc好发于中老年女性,其预后差,五年生存率仅为35%。与之相对地,交界性上皮性卵巢肿瘤(borderline epithelial ovarian tumors,beot)具有更低的恶性潜能和更好的预后,五年生存率可达92%。从治疗方式来看,eoc患者需要肿瘤细胞减灭术,并辅以新辅助化疗,而beot患者通常可进行保守治疗,保留患者的生育能力与卵巢功能。因此,术前准确地区分二者,对制定正确的治疗方案、提升患者的术后生活质量十分重要。
目前术前鉴别beot与eoc主要由放射科医生利用多参数mri影像判断,该方法依赖经验、主观性强、耗时且准确率不高。科研人员前期开发出一种基于影像组学的诊断方法,虽然诊断精度有所提升,但该方法需人工勾画病灶区域,依然存在主观、耗时等问题,临床应用受限。近年来,技术在医学影像智能诊断领域取得成功,其具有客观、智能等优点,可有效解决上述问题,但现有的基于的多模态医学影像智能诊断存在不足:(1)未能充分挖掘不同模态影像间的内在联系;(2)未能充分探索同一模态影像中不同扫描切片间的内在联系。
为此,中国科学院苏州生物医学工程技术研究所研究员高欣团队简俊明创新性地提出一种基于模态注意力(modality-based attention,ma)模块和上下文多示例池化层(contextual mpl,c-mpl)的多示例卷积神经网络mac-net(图1)。ma模块主要用于多参数mri(多模态影像)融合,效仿临床医生,自适应地赋予各模态单独的权重,从而生成更智能高效的多参数mri表示。c-mpl用于扫描切片间空间关系的建模,当对某一扫描切片内重点区域进行预测时,会同步考虑相邻连续多个扫描切片信息,实现单一模态影像中扫描切片间空间及内容相关关系利用率的提升。
研究表明,mac-net在beot和eoc鉴别问题上表现良好,准确率可达87.9%,优于当前主流多示例卷积神经网络模型。利用该方法,放射科医生无需精确勾画肿瘤边界,只需要确定肿瘤区域的最上和最下层面位置,便可实现全自动分类模型构建及预测,具备较高的自动化和智能化。另外,mac-net具有较强的适配性能:(1)图像适配性:mac-net可用于多参数mri融合,并可延伸至多模态影像(如ct、pet等)融合;(2)疾病适配性:mac-net不仅适用于卵巢癌,还可拓展用于诸如肺癌、肝癌、肠癌、乳腺癌、前列腺癌等实体肿瘤的自动诊断中。
相关研究成果发表在artificial intelligence in medicine上。研究工作得到国家自然科学基金委员会等的资助,
mac-net网络架构图