继教论坛
卷积神经网络在胶囊内镜图像自动诊断中的应用
中华消化杂志, 2020,40(6) : 429-432. DOI: 10.3760/cma.j.cn311367-20200204-00041
摘要

计算机辅助技术在内镜中的各项应用是近年来的研究热点,其中使用深度学习的人工智能技术(AI)具有跨时代意义。卷积神经网络(CNN)在图像分析中表现最佳,在消化学科领域,CNN被用于处理大量的临床数据和各种内镜图像资料。现主要介绍机器学习技术和AI在无线胶囊内镜小肠疾病自动诊断中的应用。

引用本文: 周莉函, 褚晔, 郭昊新, 等.  卷积神经网络在胶囊内镜图像自动诊断中的应用 [J] . 中华消化杂志, 2020, 40(6) : 429-432. DOI: 10.3760/cma.j.cn311367-20200204-00041.
参考文献导出:   Endnote    NoteExpress    RefWorks    NoteFirst    医学文献王
扫  描  看  全  文

正文
作者信息
基金 0  关键词  0
English Abstract
评论
阅读 0  评论  0
相关资源
引用 | 论文 | 视频

版权归中华医学会所有。

未经授权,不得转载、摘编本刊文章,不得使用本刊的版式设计。

除非特别声明,本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。

计算机辅助技术在内镜领域的应用是近年来的研究热点,其中具有深度学习特征的人工智能技术(artificial intelligence,AI)具有跨时代意义。AI可应用于眼科学、骨科学、放射学、神经病学、病理学和消化学科等领域[1,2,3]。20世纪50年代研究者们已开始关注AI,但当时探讨的内容主要是模仿人类的智能行为。尽管各种应用于医学领域的机器学习模型不胜枚举,包括贝叶斯推理、决策树、线性判别器、支持向量机、逻辑回归和人工神经网络(artificial neural network, ANN)等,但没有显著跨越式的进步。

伴随大数据时代的到来,海量的影像资料和医疗记录积累的数据需要AI有效处理,图形处理单元计算能力的发展克服了传统机器学习因计算力的局限导致的过度训练或过度拟合。大多数AI应用领域的进步并非仅凭更强的硬件或更大的训练样本量,而是新创意、新算法,以及更加优化的网络结构。要实现AI在消化学科领域的成功应用,需要临床一线医师熟悉相关领域的新技术和新进展。在几种深度学习方法中,卷积神经网络(convolutional neural network,CNN)由多层ANN和逐步的最小处理单元组成,在图像分析中的表现最出色。在消化学科领域,CNN被用于处理大量临床数据和各种内镜图像资料,AI的快速发展要求临床医师需同步学习AI的特性、优势和可能存在的缺陷,为AI在临床实践中的应用做好准备。现主要介绍机器学习技术和AI在无线胶囊内镜(wireless capsule endoscopy, WCE)小肠疾病自动诊断中的应用。

一、机器学习技术的简介和发展

AI是具有类似于人类认知功能的机器智能,包括机器学习和解决问题。机器学习是AI的最常见方法。可以根据给定的数据(输入训练集)自动构建数学算法,并在没有人工指导的情况下进行预测或做出决策[4]。ANN是受人脑神经元连接启发的多层互连网络,由McCulloch和Walter于1943年提出,1958年由Rosenblatt进行了深入研究[5]。ANN为分层结构,由输入层、隐藏连接层(在输入和输出层之间)和输出层组成。隐藏连接层中的连接具有一种强度,即权重,是神经网络中负责提取特征的中间层,可用于网络的学习过程。通过适当的训练,网络可以调整连接权重的值以优化最佳结果。传统的ANN由于分层数少、结构简单,不能完整提取训练组包含的所有信息,性能不理想,ANN的发展一度陷入停滞。受到医学领域人类视觉系统信息处理方式的启发,即大脑是一个多层深度架构,其认知过程也是连续的,继而出现了分层数更多、更深的深度神经网络(deep neural network,DNN)。由于DNN需要较大的计算量,且受限于当时计算机有限的计算能力,尽管性能上较传统的ANN有了较大提升,但是仍然不能实现商用。

后续视觉领域中表现出色的CNN,是目前应用最广泛的视觉的主要机器学习工具,可完成诸如图像分类、目标检测等任务。CNN由提取不同特征的卷积层(大量特定的过滤器)、负责特征选择的采样层、用于降维特征的池化层和进行总体分类的完全连接层组成。CNN可对输入图像进行过滤,先使用卷积层提取特定的特征,创建多个特征图——这种用于过滤的预处理操作称为卷积;然后,通过合并像素以捕获较大的图像场,这些特征图像被压缩成较小尺寸,并且对这些卷积层和池化层进行了多次迭代;最后,完全连接层结合了所有特征并产生最终判定结果。卷积过滤器学习最佳特征图的学习过程对于CNN的成功至关重要,正是有了这一过程,极大地减少了权重数量和计算量,为CNN实现商用铺平了道路。

二、AI在WCE中应用的必要性

WCE的问世标志着小肠疾病诊断的革命。1例患者1次WCE检查可产生约60 000张图像,完整的阅片时间需要30至120 min,与其他消化内镜检查相比,胶囊内镜检查的图像分辨率低,在长达数小时的视频中,异常病变可能只出现在其中的1或2帧。胶囊内镜图像的解释和诊断在很大程度上取决于阅片者的细致程度和阅片经验,阅片者经验不足或主观上的疏忽有可能导致误诊或漏诊。有研究提示小肠胶囊内镜的病变检出率可能不随阅片者经验和阅片时间的增加而提高[6]。计算机辅助技术有望通过自动异常侦测的手段帮助临床医师缩短阅片时间,同时通过技术手段实现疾病负荷量化的问题。

三、小肠胶囊内镜在小肠疾病诊断中的应用

小肠胶囊内镜检查的主要适应证[7,8]包括①不明原因消化道出血(obscure gastrointestinal bleeding,OGIB);②不明原因缺铁性贫血;③疑似CD;④疑似小肠肿瘤;⑤小肠息肉综合征;⑥疑似或难以控制的吸收不良综合征(如乳糜泻等);⑦NSAID相关性小肠黏膜损害;⑧排除小肠疾病。

1.CNN在OGIB中的应用:

小肠胶囊内镜可用于OGIB患者小肠段的检查,小肠段的检查费时、费力,可疑血液指示器(suspected blood indicator,SBI)是一种商业上可用的自动化诊断方案,但只能用作出血检测的支持工具,在非活动性出血中的临床应用并不十分理想。Aoki等[9]发现CNN检测小肠出血的AUC值为0.999 8,灵敏度、特异度和准确度分别为96.63%、99.96%和99.89%,高于传统SBI的76.92%、99.82%和99.35%,CNN模型概率得分的临界值为0.5,经过训练的CNN仅需250 s就能完成10 208张测试图像的评估;CNN初筛后的阅片时间明显短于常规阅片模式(专家:3.1 min比12.2 min。实习生:5.2 min比20.7 min),差异均有统计学意义(P均<0.01),且两种阅片模式的病变检出率比较(专家:87%比84%。受训者:55%比47%)差异均无统计学意义(P均>0.05),CNN可以有效缩短临床医师的阅片时间,增加受训阅片者对于小肠图像判断的准确度。

Aoki等[10]采用一种称作单发多盒检测器(single shot multibox detector, SSD)的深层神经网络架构,收集了115例患者的5 360张小肠糜烂或溃疡典型病变图像用于训练,在65例患者完整的WCE视频中进行验证,结果显示该模型的灵敏度、特异度和准确度分别为88.2%(95%CI 84.8%~91.0%)、90.9%(95%CI 90.3%~91.4%)和90.8%(95%CI 90.2%~91.3%)。Wang等[11]在此基础上扩大样本量、改变学习框架,提出了一种基于多尺度特征级联的CNN的深度学习框架,使用1 416例患者视频中24 839个典型溃疡框架进行训练以提取溃疡识别特征,验证组的测试结果显示该CNN深度学习框架的总体测试准确度为92.05%,其灵敏度和特异度提升至91.64%和92.42%,提示通过增加样本量、调整所选用的框架可提升CNN模型的性能。

在40岁以上因OGIB就诊的患者中,最常见的病因是小肠血管病变。Leenhardt等[12]首先使用带有图像语义分割的CNN开发了小肠血管畸形的判读模型,从4 166个小肠胶囊内镜视频中选出600张阴性图像和600张典型血管畸形病变图像,将其均分为训练组和验证组。基于CNN的模型显示出较高的诊断性能,灵敏度为100%,特异度为96%,阳性预测值为96%,阴性预测值为100%。Tsuboi等[13]应用SSD扩大训练组的小肠血管畸形病变图片至2 237张进行模型训练,灵敏度、特异度、阳性预测值和阴性预测值分别为98.8%、98.4%、75.4%和99.9%,概率得分的临界值为0.36。该研究仅纳入典型血管畸形图片,在临床实践中的灵敏度和应用价值有待进一步研究。

2.CNN在小肠寄生虫病中的应用:

钩虫病是缺铁性贫血需要考虑的原因,然而小肠寄生虫病自动化诊断CNN模型较难建立。一方面,钩虫的管状结构很小,颜色发白、呈半透明状,特征与背景肠黏膜相似;另一方面,静态图像上虫体影像易与水泡边缘、肠道分泌物混淆。He等[14]建立了用于检测胶囊内镜图像中钩虫的CNN模型,该CNN模型的灵敏度为84.6%,特异度为88.6%,测试组仅错误地判断了15%的钩虫图像和11%的非钩虫图像。即便是有经验的阅片者根据单一的静态图像进行诊断也非常困难,只有前后连贯图像进行动态判断才能提高诊断准确度。尽管该研究临床应用价值有限,但从技术层面上对气泡、肠道分泌物等可能对阅片造成影响的因素进行了初步探索。

3.CNN在CD中的应用:

Klang等[15]没有使用边界框标记特定的病变区域,纳入训练的整个图像被标记为正常或异常(包含黏膜溃疡),该团队采用主分量分析和随机领域嵌入算法得出不同患者正常和异常图像的分布呈异质性,该算法的AUC值为0.94。CNN可能在个体CD患者黏膜溃疡的WCE图像分类方面具有潜力,为后续CNN在WCE应用上实现对CD炎症负荷准确量化做了较好的初步研究。

4.CNN在乳糜泻中的应用:

在弥漫性病变的检出上,Zhou等[16]建立了一个基于GoogLeNet的22层CNN模型,对6例乳糜泻患者的200张病变图像和5例对照患者的200张正常图像进行是否存在乳糜泻的二分类判定,模型验证获得了100%的灵敏度和特异度。CNN模型评估的信度与小肠黏膜病变的严重程度有关,反映了CNN定量评估小肠病理程度的潜力。

四、CNN的多分类自动诊断

目前,已有的胶囊内镜图像的自动诊断模型研究聚焦于各种小肠常见的局灶性病变和弥漫性病变,前者包括消化性溃疡、血管畸形、寄生虫病和息肉等,后者包括乳糜泻等。二分类的CNN模型并不能满足临床的现实需求,即1次完整的小肠胶囊内镜检查可能同时发现多种病变共存,仅对单一疾病进行是或否判断的二分类模型不能满足现实需求。

Yuan和Meng[17]应用具有图像流形约束的堆叠式稀疏自动编码器对胶囊内镜获取的图像进行四分类判别,息肉、气泡、浑浊图像和清晰图像的准确度分别为98.00%、99.50%、99.00%和95.50%。Ding等[18]报告了一个基于CNN的多分类模型,以协助小肠多种亚型异常病变(包括正常变异)的诊断。该CNN的算法具有高灵敏度(从76.89%提升至99.90%)和高病变检出率(从54.57%提升至70.91%),辅助阅片效率提高,阅片时间从96.6 min缩短至5.9 min。经过训练的CNN辅助阅读模型能够检测并正确识别大多数异常的小肠图像,包括炎症、溃疡、息肉、出血、血管畸形、隆起性病变、淋巴滤泡增生、寄生虫等。该研究中出血和血管病变的检出率低于既往报道,可能是因为纳入的研究对象主要是无症状健康体格检查者或住院患者,其结果可能缺乏临床通用性。

五、CNN相关研究的缺陷和未来研究方向

大部分CNN相关研究可能存在潜在的选择偏倚,由于过度拟合和频谱偏差(又称类不平衡,即用于模型开发的数据集不能充分代表或反映将应用于临床实践的目标人群时发生的系统错误)可能会高估模型在实际应用中的准确性,必须使用未参与模型训练的数据集(即验证集)进行外部验证,同时以最小化频谱偏差的方式收集训练集所需数据。从纳入训练组的数据层面上,使用不充分的数据对其进行训练,可能会导致过度拟合。改善小肠胶囊内镜CNN模型性能最直接有效的方法是增加训练样本量[11,13]。然而,在实际操作过程中,相比正常小肠黏膜图像,病变图像明显较少。建立可靠准确的多分类CNN判别器,需要大量、甚至不典型的病变图片来进行训练,以获得灵敏度较理想且具有实际应用价值的模型。由于小肠病变图像较难获得,一些模型采用合成数据进行样本训练,可能会误导模型,使其在真实世界应用的性能不理想。

除了小肠胶囊内镜数据采集方面的问题,小肠病变本身的标注也值得关注。目前已发表的相关研究验证集大多为已经人工标注的典型小肠病变图像和无病变正常小肠黏膜图像,忽略了诸如气泡、肠道分泌物、胆汁等非特异性异常可能导致的干扰。因为WCE阅片过程是回顾性的,且WCE检查过程并不能像传统胃镜、肠镜检查一样通过检查者抽吸等操作来获得更加理想的图像质量,小肠蠕动导致的图像模糊、抖动失真等均有可能影响仅通过典型图像和典型无病变图像训练得到的CNN模型的泛用性。由于病变数量相对整个检查获取的图像而言极少,可能会过高地估计CNN模型的特异度。如何准确、客观地评价CNN模型,亦是需要讨论的问题之一。

由于深度学习自身缺乏可解释性,本身类似一个"黑箱",在训练过程中某些无意的操作有可能误导模型,使得模型依据不恰当的特征来进行病变判定,这一点对于医学诊断而言是极为严重的。为了对模型进行更有力的验证,未来需要有明确的纳入和排除标准圈定目标人群的前瞻性研究完成验证集的数据收集;同时务必避免合成数据加入训练,因为合成数据往往是机器通过已有病变图像模拟新的病变图像,而非真实世界真实病例的图像。从所选用的学习框架方面,适当的深度学习架构选择对于模型的成功建立至关重要,直接影响图像分类准确性和泛化能力。

如何将AI应用于WCE以完成既往人工难以完成的任务,特别是定量具体疾病的负荷或严重程度,如对CD、乳糜泻患者的病变严重程度、分期进行定量分析,有待临床医师与AI工程师进行密切沟通和更深层次的合作。AI未来能否作为一种更客观的工具对一些定义和诊断尚存争议的疾病(如小肠血管疾病)进行疾病状态评定,亦值得研究。目前尚未有将患者基线资料和病史纳入训练的研究,符合流行病学特征也是对诊断可靠性的有力支持,未来如何让AI实现正确、有效、恰当的训练过程,是每位从事相关领域工作的临床医师需要思考的问题。

利益冲突
利益冲突

所有作者均声明不存在利益冲突

2020年第6期继续教育题目(单项选择题)

授予Ⅱ类学分说明和答题二维码见宣传插页

1.以下哪项是隐藏连接层的定义( )

A.神经网络的输入中隐含的部分 B.神经网络的输出中隐含的部分 C.神经网络中负责提取特征的中间层 D.神经网络中隐藏的参数

2.CNN与ANN相比最显著的区别是( )

A. CNN计算参数更多、能力更大 B. CNN简化了训练步骤,训练更快 C. CNN过滤器仅使用上层局部信息计算而不是全部信息 D. CNN较ANN的结构性能更先进

3.以下哪项关于CNN处理图片方法的叙述是错误的( )

A.完全连接层负责基于特征的最终判定 B.采样层负责特征的选择 C.卷积层负责特征的过滤提取 D.池化层负责特征的产生

4.研究中可能会错误估计模型在实际应用中准确性的原因不包括( )

A.使用未参与模型训练的数据集进行外部验证 B.使用不充分的数据对其进行训练导致过度拟合 C.用于模型开发的数据集不能充分代表将应用于临床实践的目标人群 D. WCE完整视频中病变图像相对正常图像较少

5.CNN模型在小肠胶囊内镜中已经达成的应用不包括( )

A.在乳糜泻中评估信度,定量评估小肠黏膜病变的严重程度 B.在小肠出血的检测上,可以有效缩短临床医师的阅片时间,增加阅片者的准确度 C.可以准确判断典型的小肠血管畸形病变 D.通过患者的基线资料对因小肠病变就诊患者预后进行准确判断

参考文献
[1]
GulshanV, PengL, CoramM, et al. Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs[J]. JAMA, 2016316(22): 2402-2410. DOI: 10.1001/jama.2016.17216.
[2]
EstevaA, KuprelB, NovoaRA, et al. Dermatologist-level classification of skin cancer with deep neural networks[J]. Nature, 2017542(7639): 115-118. DOI: 10.1038/nature21056.
[3]
ParkJ, HwangY, YoonJH, et al. Recent development of computer vision technology to improve capsule endoscopy[J]. Clin Endosc, 201952(4): 328-333. DOI: 10.5946/ce.2018.172.
[4]
LeCunY, BengioY, HintonG. Deep learning[J].Nature, 2015521(7553): 436-444. DOI: 10.1038/nature14539.
[5]
RosenblattF. The perceptron: a probabilistic model for information storage and organization in the brain[J].Psychol Rev195865(6): 386-408. DOI: 10.1037/h0042519.
[6]
ZhengY, HawkinsL, WolffJ, et al. Detection of lesions during capsule endoscopy: physician performance is disappointing[J]. Am J Gastroenterol, 2012107(4): 554-560. DOI: 10.1038/ajg.2011.461.
[7]
中华医学会消化内镜学分会. 中国胶囊内镜临床应用指南[J]. 中华消化内镜杂志,201431(10): 549-558.DOI: 10.3760/cma.j.issn.1007-5232.2014.10.001.
[8]
中华消化杂志编辑委员会. 小肠出血诊治专家共识意见(2018年,南京)[J]. 中华消化杂志,201838(9): 577-582. DOI: 10.3760/cma.j.issn.0254-1432.2018.09.001.
[9]
AokiT, YamadaA, KatoY, et al. Automatic detection of blood content in capsule endoscopy images based on a deep convolutional neural network[J/OL].J Gastroenterol Hepatol, 2019[2019-11-23]. https://doi.org/10.1111/jgh.14941. DOI: 10.1111/jgh.14941.
[10]
AokiT, YamadaA, AoyamaK, et al. Automatic detection of erosions and ulcerations in wireless capsule endoscopy images based on a deep convolutional neural network[J]. Gastrointest Endosc, 201989(2): 357-363.e2. DOI: 10.1016/j.gie.2018.10.027.
[11]
WangS, XingY, ZhangLet al. Deep convolutional neural network for ulcer recognition in wireless capsule endoscopy: experimental feasibility and optimization[J]. Comput Math Methods Med, 20192019: 7546215. DOI: 10.1155/2019/7546215.
[12]
LeenhardtR, VasseurP, LiC, et al. A neural network algorithm for detection of GI angiectasia during small-bowel capsule endoscopy[J]. Gastrointest Endosc, 201989(1): 189-194. DOI: 10.1016/j.gie.2018.06.036.
[13]
TsuboiA, OkaS, AoyamaK, et al. Artificial intelligence using a convolutional neural network for automatic detection of small-bowel angioectasia in capsule endoscopy images[J]. Dig Endosc, 202032(3): 382-390. DOI: 10.1111/den.13507.
[14]
HeJY, WuX, JiangYG, et al. Hookworm detection in wireless capsule endoscopy images with deep learning[J]. IEEE Trans Image Process, 201827(5): 2379-2392. DOI: 10.1109/TIP.2018.2801119.
[15]
KlangE, BarashY, MargalitRY, et al. Deep learning algorithms for automated detection of Crohn′s disease ulcers by video capsule endoscopy[J]. Gastrointest Endosc, 202091(3): 606-613.e2. DOI: 10.1016/j.gie.2019.11.012.
[16]
ZhouT, HanG, LiBN, et al. Quantitative analysis of patients with celiac disease by video capsule endoscopy: a deep learning method[J]. Comput Biol Med201785: 1-6. DOI: 10.1016/j.compbiomed.2017.03.031.
[17]
YuanY, MengMQ. Deep learning for polyp recognition in wireless capsule endoscopy images[J]. Med Phys, 201744(4): 1379-1389. DOI: 10.1002/mp.12147.
[18]
DingZ, ShiH, ZhangH, et al. Gastroenterologist-level identification of small-bowel diseases and normal variants by capsule endoscopy using a deep-learning model[J]. Gastroenterology, 2019, 157(4): 1044-1054.e5. DOI: 10.1053/j.gastro.2019.06.025.
 
 
展开/关闭提纲
查看图表详情
回到顶部
放大字体
缩小字体
标签
关键词