
本研究主要探讨基于膀胱镜的膀胱癌人工智能诊断系统(CAIDS)临床转化的可能性及瓶颈问题。回顾性收集2023年1~11月中山大学孙逸仙纪念医院的101例膀胱癌患者膀胱镜视频,患者年龄中位数为63岁,其中男性占比81.0%(82/101)。使用CAIDS进行诊断,并对视频的诊断准确性进行评估。同时制定手术评价量表,基于量表对视频质量进行评估,以模拟临床使用。使用膀胱镜视频来定量验证人工智能系统的准确性。最终测试结果系统灵敏度为97.8%,阳性预测值为81.7%,特异度54.2%,阴性预测值为92.3%。此外,手术评价量表评分在3.96~4.69,表明该系统具有临床推广的可行性。
版权归中华医学会所有。
未经授权,不得转载、摘编本刊文章,不得使用本刊的版式设计。
除非特别声明,本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。
膀胱癌是世界前十大高发肿瘤之一。在泌尿生殖系统中,膀胱癌也是最为常见的恶性肿瘤之一[1]。据统计,2020年全球膀胱癌新增确诊病例高达57万,死亡病例达21万[2]。与此同时,膀胱癌诊疗管理费用昂贵,号称“最昂贵的肿瘤”[3]。膀胱癌术前诊断主要依靠详细的病史采集、患者症状及体征、体格检查、影像学检查如泌尿系CT、静脉泌尿系造影、超声、MRI、尿液脱落细胞学、尿液肿瘤标志物检测及膀胱镜检查。其中膀胱镜发挥着至关重要的作用[4]。
膀胱癌诊断金标准为经尿道膀胱病损切除术获得的病理标本。根据肿瘤侵犯深度,膀胱癌分为肌层浸润性膀胱癌与非肌层浸润性膀胱癌[5, 6]。非肌层浸润性膀胱癌的标准治疗方式为经尿道膀胱肿瘤切除术[7, 8],术后3个月、半年、1年需要膀胱镜检进行规律复查[9]。
电切及膀胱镜检查过程中,医师水平是决定治疗效果的关键性影响因素,而提高医师水平需要规范而漫长的培训经验积累[10]。近年来,随着医疗大数据的积累、计算机算力的提升及人工智能技术的迅猛发展,人工智能技术辅助医疗决策成为趋势[11, 12, 13, 14]。本研究前期基于人工智能手段构建了基于膀胱镜的膀胱癌人工智能诊断系统(CAIDS)[15]。该系统依托于从中国6家大型三甲医院回顾性收集到10 729 个进行膀胱镜操作的患者共计 69 204 张膀胱镜照片搭建。在内部验证组中,CAIDS 的准确性高达 0.977[95%置信区间(CI):0.974~0.979],在4个外部验证组中,CAIDS 准确性分别是0.990(95%CI:0.979~0.996)、0.982(95%CI:0.974~0.988)、0.978(95%CI:0.959~0.989)和0.991(95%CI:0.987~0.994)。但之前的研究主要基于照片进行模型搭建及验证,而临床上,该系统的临床使用场景应当立足于视频实时预测。笔者之前的研究尚未系统探讨CAIDS模型实时使用效果。本研究将基于本中心新近收集的101例视频,探讨CAIDS系统的准确性及模拟探索临床使用时医师体验,为进一步改进系统、促进临床应用推广奠定基础。
1. 研究对象收集及研究设计:本研究回顾性收集了2023年1~11月于中山大学孙逸仙纪念医院收集的101例于手术室全身麻醉下进行膀胱镜操作的患者视频。视频为60帧,分辨率为1 024×768,以mp4格式保存。为避免出血对系统识别造成干扰,视频截取电切前时间段。将视频导入搭载CAIDS系统的计算机中,由CAIDS系统自动化识别可疑肿瘤区域并进行标注,生成标注后的视频。最终分屏显示膀胱镜检查真实视频及CAIDS系统标注视频。(1)纳入标准为:膀胱镜检查患者或经尿道膀胱肿瘤切除患者;(2)排除标准为:回肠代膀胱患者;视频效果欠清晰患者。对于纳入的病例,本研究收集了患者性别、年龄、T分期的基线数据。
2. 模型准确性评估及临床使用体验评估量表:在视频中,对于肿瘤存在画面或者CAIDS识别区域进行截图,作为准确性评估的一个病例。另外常规双侧输尿管口进行截图。因此,一个视频会获取大约10张照片。我们以照片对应的病理作为金标准(部分照片经医师判断认为极大概率不是肿瘤,则无病理,以医师判断为金标准)。最后对纳入的照片进行准确率、灵敏度、特异度、阳性预测值、阴性预测值计算。
本研究制定了评估系统临床使用评估量表,并基于量表对视频质量进行评估,以模拟直接的临床使用。量表包括十个问题,从操作便捷性、系统稳定性、手术安全性、诊断准确性、分割精准度、检测效率、图像质量、临床实用性、隐私保护、医师满意度10个方面,CAIDS辅助膀胱镜手术评价量表具体问题为:(1)操作便捷性:系统是否易于使用?操作界面是否简洁明了;(2)系统稳定性:系统是否稳定,是否会出现系统崩溃、卡顿、延迟等情况;(3)手术安全性:使用双屏幕同时显示,是否会分散手术医师注意力;(4)诊断准确性:是否能够准确识别膀胱癌病变?是否对可疑病变区域有提示作用;(5)分割精准度:系统在识别和分割病灶部分是否精准;(6)检测效率:使用该系统后,能否缩短手术/镜检时间,提升效率如何;(7)图像质量:该系统是否能够提供清晰、高分辨率的膀胱镜图像?是否能够有效展示病变细节;(8)临床实用性:医师在使用该系统进行诊断时,是否感到实用和有效?是否能够提供有用的辅助信息;(9)隐私保护:使用该系统时,是否存在安全风险?是否能够保护患者的隐私数据;(10)用户满意度:医师对该系统的整体满意度如何?是否认为该系统对于膀胱病变的诊断有积极影响?本研究共邀请3名5年以上临床工作经验的泌尿外科医师参与评估,每个问题评分为0~5分,得分越高代表系统越好(满意4~5分,一般2~3分,不满意0~1分)。
总共纳入101例患者,年龄中位数为63岁(53~69岁),其中82例为男性患者,占总人数的81%,女19例(19%)。在这101例患者中,术后病理提示90例为膀胱癌,其中2例为Tis期,50例为Ta期,26例为T1期,12例为T2期,有7例为内翻性乳头状瘤,3例为慢性炎症,1例为尿路上皮增生。
最后获得了1 091个图片病例。按前述方法进行准确性评估,最后发现灵敏度为97.8%,阳性预测值为81.7%,特异度为54.2%,阴性预测值为92.3%。准确性矩阵见表1。

膀胱癌人工智能诊断系统(CAIDS)诊断准确性矩阵
膀胱癌人工智能诊断系统(CAIDS)诊断准确性矩阵
| 金标准 | CAIDS | |
|---|---|---|
| 阳性 | 阴性 | |
| 阳性 | 721 | 16 |
| 阴性 | 162 | 192 |
此外,本研究探索了CAIDS系统临床应用的体验感问题。前述10道问卷调查结果综合来看,整体评分大致在3.96~4.69,表明模型进行临床推广具有可行性。其中手术安全性评分相对最低,为3.96(标准差为0.60);整体满意度评分最高,为4.69(标准差为0.46)。
本研究基于前期搭建的CAIDS系统,在101例单中心膀胱镜检查患者中进行了临床推广前模拟。研究表明,基于图片搭建的CAIDS系统在视频中的诊断性能仍然可观,CAIDS系统具有临床推广的重要价值。
本研究的研究对象为视频,相较于照片具有更贴近临床应用场景。本研究结果表明,模型的灵敏度高达97.8%,但高灵敏度是在预测阈值较低的情况下获得,模型具有一定的假阳性率。通过回顾性结果分析,假阳性率主要是集中在水肿的输尿管口区域及视野晃动。而临床上,水肿的输尿管口是相对容易被医师识别的。且在临床上,膀胱肿瘤电切术前都应先常规检查确定输尿管口位置。所以,本系统在这方面的假阳性率反而能一定程度上帮助找到输尿管口。当然,后续也会尝试收集输尿管口照片,训练输尿管口人工智能识别模型,同步搭载到CAIDS系统中,进一步增加该系统的临床适用性。而视频抖动问题,同一视野一般在膀胱镜稳定后再次查看时便恢复正常。但这种一闪而过的假阳性率还是会对医师使用体验感造成影响,本研究后续将进一步解决视频抖动问题。另外一部分是基于炎性增生。在临床实践中,尤其担心的是漏诊漏切的问题,所以模型将阳性诊断阈值设置调低。从准确性角度看,已经达到较为满意的水平,后续可以在临床实践过程中随着病例的积累,进一步调试系统阈值,迭代更新系统,达到更加适合临床应用的水平。本研究的特异性为54.2%,与本试验的试验设计局限性相关。因为本研究是基于视频进行验证,对于阴性照片的问题,可以通过将视频转化为每帧图像进行验证,这样获得的真阴性照片就会数量剧增,从而特异性可高达99%。也可以像本研究呈现那样,以关键解剖部位进行拍照(输尿管口)来获得固定的照片数目。当然,不管如何设计,本研究的真阴性照片数目都属于“人为调控”的,所以不太具有参考价值。而在视频实际体验上,绝大部分的正常黏膜区域都不会被识别为阳性,系统的临床应用不会因为这个数值造成太大干扰。
除了客观的准确性,本研究同样关注医师实际操作的体验感问题。笔者设计了10道手术评价量表,由医师观看操作视频后给予主观评价,模拟临床使用体验。作为一个医疗器械,量表设计着重考虑使用安全性问题及患者隐私性问题,本研究的结果表明当前的系统具有临床应用的可能。当然,本研究是基于孙逸仙纪念医院单中心开展的研究,不排除选择偏倚造成数据失真。本研究的目的在于模拟临床实践,发现临床应用的问题及进行改进。此外,本研究纳入视频为电切操作前的视频,考虑到电切后膀胱出血可能会对系统造成干扰。因而,当前版本的系统后续只能应用于膀胱镜检查,在膀胱肿瘤电切术过程中的运用尚未进行探讨。本研究后续将纳入更多出血时膀胱镜照片去迭代模型,以进一步增加系统的临床适用性。
综上所述,本研究在前期基于膀胱镜照片搭建的膀胱癌人工智能诊断系统基础上,进一步使用膀胱镜检视频来定量验证了系统的准确性,并制定量表评估了临床应用的可能。后续将进一步优化模型,进而开展前瞻性研究,以实现临床转化。
吴少旭, 陈雄, 洪桂斌, 等. 基于膀胱镜的膀胱癌人工智能诊断系统临床转化应用探索[J]. 中华医学杂志, 2024, 104(24): 2260-2262. DOI: 10.3760/cma.j.cn112137-20231211-01344.
所有作者声明不存在利益冲突





















