
人工智能决策系统能够帮助我们更好地制定临床方案,提高决策效率。成熟的系统需要有数据、核心算法以及好的界面支持。我们以中国临床肿瘤学会乳腺癌数据库为基础,基于国内核心算法,以指南为蓝本,创建了具有自主知识产权的人工智能决策系统,并利用Ⅰ~Ⅳ期临床研究,验证该系统与指南的符合率以及对不同级别医生的帮助程度。该系统的推广将进一步提高乳腺癌规范化诊疗,同时为其他智能决策系统的建立和应用提供经验。
版权归中华医学会所有。
未经授权,不得转载、摘编本刊文章,不得使用本刊的版式设计。
除非特别声明,本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。
肿瘤已经成为我国居民死亡的主要原因之一,规范化治疗是提高患者治愈率、保证患者预后的重要举措。但考虑到地区发展差异、诊疗手段的可及性[1],国内诊疗的规范性仍存在较大差异。与此同时,近年来肿瘤治疗发展迅速,如2018年美国食品药品监督管理局(FDA)批准的新药数打破了其往年批准新药数目的记录,这些药物中抗肿瘤药占了27%[2]。新药的增多以及新批准的适应症增加,给临床医生带来了一定压力。而受限于精力和学习能力,临床医生难以迅速地掌握不同肿瘤间的差异和最佳治疗方案,治疗效果大打折扣[3]。
人工智能决策系统即临床决策辅助支持系统(CDSS),它是用户利用搜索引擎,通过关键信息从知识库中筛选最佳的结果并反馈给用户[4]。CDSS能够帮助临床工作者减少对记忆的依赖,降低错误率,并减少响应时间,帮助在临床工作中做出适当和安全的决定,从而保证临床安全和质量,改善治疗效果[5]。CDSS也能够通过整合不同数据,根据药物疗效、产品可及性、不良反应、患者的经济状态、医保水平等差异,提供个体化建议,帮助临床医生优化治疗方案。经过20余年的发展,CDSS已经在疾病管理、放疗剂量计算、心电图读取、血库系统等领域发挥重要作用[6]。
沃森肿瘤系统(WFO)是目前开发较早的肿瘤治疗决策系统之一,它能根据阅读的文献、方案以及病例表、学习治疗经验等,为临床医生提供帮助[7]。我中心利用WFO系统,首次开展了智能系统在乳腺癌领域的临床研究[8],通过对比医生与医生+WFO的方案优劣,探索人工智能系统对不同级别医生的帮助,使我们认识了智能决策在临床中的作用,也发现了WFO系统与国情的差异。
考虑到国内尚无成熟的智能系统应用于癌症的治疗决策,基于既往的经验,我们在中国临床肿瘤学会(CSCO)平台下,利用数据库、指南和技术建立了首个人工智能决策系统(CSCO AI)。本文旨在讨论CSCO AI系统的开发、验证和推广过程,为国内其他CDSS的开发与应用提供经验。
CDSS建立的主要目的是为患者提供更准确、更符合个体化的医疗决策,建立这样的CDSS需要解决以下的几个问题[9],包括可靠的数据源和知识库、自动给出符合临床决策的方案以及友好的交流界面,临床工作者可以通过简单的操作步骤,获得更多的有效信息,为优化治疗决策提供助力。
知识库是CSCO AI系统的基石,包括系统的学习、测试和验证,都需以知识库为基础。知识库内容的丰富性、代表性直接影响着系统的可靠性,CSCO AI的知识库主要来自临床数据和循证医学证据,前者多为半结构化或非结构化存在,后者为结构化的数据。
临床数据的主要来源是电子病历系统,虽然我国已采用了国际疾病编码和手术分类编码[10],但这两大术语还不能覆盖医疗记录中所有临床信息。与此同时,全国各大医院建立的信息系统在数据结构和标准上均有所差异,存储方式也各不相同。因此建立规范统一的标准数据集,是打破大数据时代的"信息孤岛"壁垒的重要步骤[11]。CSCO乳腺癌专委会(CSCO BC)大数据平台通过定义并建立乳腺癌结构化的标准数据集,将自然语言描述的非结构化乳腺癌临床病历数据进行结构化设计,同时将分散于不同医院不同信息系统中的临床信息通过数据采集、清洗、整合等步骤,利用自然语言归一技术、结构化和患者主索引等技术,对乳腺癌的临床医疗数据进行规范集成和综合利用。CSCO BC数据库自2015年建立至今,已收集不同地区5万余例乳腺癌诊疗数据,跨度中国40余年乳腺癌诊疗数据,记录了一些国内首先开展的研究,显示了中国乳腺癌诊疗的变迁。这是我们构建知识库重要的数据来源,也为后续进行的系统验证和测试提供了数据基础。
知识库的另一数据源是利用程序进行文献搜索,根据乳腺癌患者不同阶段,对相关临床研究进行自动检索,对文献中的患者个体特征(如不同的TNM分期、分子分型、既往用药情况、不良反应等)进行提取和建模,在文献总结的基础上,再由专家组进行补充完善,最终建立不同类型的患者所对应的肿瘤诊疗知识图谱的初始模型[12]。
完成数据收集后,需要通过技术手段整合数据,将抽象的数据映射为图形元素,并辅以人机交互手段,帮助用户有效地感知和分析数据[13]。
知识谱图可以捕捉和呈现领域概念之间错综复杂的关系,并将各种信息系统中零碎的知识片段连接起来,它在知识检索、问答、知识推荐、知识可视化等应用中有着非常重要的作用。也为解决"数据孤岛"问题提供了理想的技术手段,有助于实现知识资源的整合,提高知识服务能力[14]。
CSCO AI系统是通过构建知识图谱,将实体关系抽离出来,形成类似于人类理解的知识网络结构。对于复杂的专业性医学经验知识,则在专家指导进行分类归纳使之结构化、系统化,形成肿瘤诊疗的知识集合,而对于文本型的数据,则需要在医学标准术语的规范下,对其进行文本分析,如语义标注、关联分析等,从而获取关于肿瘤诊疗的所有概念数据集合。随后通过语义分析、推理以及辅助诊疗系统完成数据和临床工作者的交互。在使用过程中,CSCO AI也能根据患者的临床诊疗数据对系统进行反馈更新。
CSCO指南[15]是基于国情而撰写的一部指南,它根据患者的不同阶段、不同类别乳腺癌患者,同时结合中国实际和最新的循证医学证据,制定了不同的治疗决策方案。基于此,CSCO AI系统以指南中的方案为蓝本,构建不同的知识谱图,在用户搜索相关信息时,根据关键信息定位知识图谱。而该逻辑也随着指南实时更新,保证系统的时效性。
人机交流界面在互动方面发挥重要作用,合理的交流界面有助于系统的推广和应用,从而可以帮助改善治疗的合理性[16]。
CSCO AI系统以乳腺癌诊疗为时间轴,在输入患者年龄、TNM分期、分子分型等重要信息后,系统首先对患者的基本情况及当前所处阶段、既往治疗情况等关键信息进行判定,随后根据患者实际情况给出供医生参考的后续治疗方式、治疗路径、具体治疗方案建议等。当医生选择推荐的具体方案后,便可链接到以该治疗方案为中心的知识图谱,呈现CSCO BC指南的临床证据、参考文献、相关药品的用法用量、药品名称与副作用等实体关系,还可以同步链接到国内专家的诊疗观点,产生观点交流。CSCO AI也会融入医保、临床研究等数据,使其更符合国内实情,保证用户一键即可获取更多信息,增强临床工作者的使用效率。
CDSS的应用与推广需要通过临床验证和用户反馈,从而优化系统。我们将CSCO AI系统的验证主要分为4个阶段,包括:识别有效信息阶段、给出决策阶段、决策验证阶段、市场推广阶段,每个阶段的研究目的不同,对应的研究方法也存在迥异。考虑到与药物的临床研究相似,因此我们定义为智能决策系统的Ⅰ~Ⅳ期临床研究。
识别有效信息的完整性:CSCO AI在乳腺癌领域的专家指导下,由技术人员通过技术手段完成的智能系统。由于两者专业背景的差异,对诊疗关键信息的理解存在误差,因此Ⅰ期临床研究通过对不同阶段病例的测试与学习,判断系统给出决策方案所需要的关键信息,设定信息的优先级,定位系统给出决策的边界,为后续判断决策与指南的符合率奠定基础。
研究方法:利用CSCO BC数据库中的真实的乳腺癌数据,筛选术后复发转移的晚期乳腺癌患者,分别针对每位患者的初始治疗、术后辅助治疗和一线治疗三个阶段进行智能决策,分析不同条件下,CSCO AI成功给出智能决策的概率,了解关键信息的优先级。
研究结果:从CSCO BC数据库中筛选了200例复发转移的乳腺癌患者,其中,三阴性乳腺癌(TNBC)占18%,激素受体阳性占65%,人表皮生长因子受体2(HER2)阳性占32%。在初始治疗阶段、术后辅助治疗阶段和解救一线治疗阶段,CSCO AI系统都能给出智能决策方案,满足了Ⅰ期临床研究的目标。与此同时,我们还探索了CSCO AI可以在二线治疗中给出合理的治疗决策,为系统的应用拓展奠定了基础。在关键信息优先级上,系统对一些高危因素认识仍不全面,如对组织学分级低,但ki67高的患者,仍当做低危患者,给出了错误的方案,对这部分逻辑算法进行了修正。
考察推荐方案的有效性:完成Ⅰ期验证后,CSCO AI系统已可以识别有效信息,通过定位关键信息给出决策方案。但此时CSCO AI给出方案是否符合指南,是否可以应用于临床仍未可知。为此,Ⅱ期临床研究,主要针对不同病例,验证CSCO AI给出方案建议的准确性,提升与指南的符合度。考虑到系统在二线治疗方案的探索,本研究将人群扩大到二线治疗人群,同时修正可能存在的决策逻辑错误,为Ⅲ期研究及后续的推广奠定基础。
研究方法:从CSCO BC数据库中随机筛选复发转移且有一线治疗的乳腺癌患者,分析CSCO AI在初始治疗、辅助治疗、一线治疗、二线治疗阶段给出的决策,验证CSCO AI决策在不同阶段、不同类别中与指南的符合度(CSCO AI方案与指南中Ⅰ~Ⅱ级推荐方案的符合度)。
研究结果:从CSCO BC数据库中,筛选300例患者,完成1 200次测试,结果发现CSCO AI系统在不同阶段给出的决策方案与CSCO BC指南符合率存在差异。在新辅助治疗、辅助放疗和辅助靶向治疗中,由于适应症和治疗方案明确,因此符合率可达到100%。但辅助化疗的符合率仅为88.2%,原因在于新辅助化疗未完成时,系统无法给出辅助治疗的决策推荐。但临床中也无法明确新辅助治疗不标准患者的后续治疗,因此我们修改了逻辑算法,对这部分患者不再推荐后续治疗。辅助化疗中还存在一些关键信息的优先级的差异导致决策失误,如对于已经有淋巴结转移的患者,若患者无ki67指数,则无法给出治疗推荐,这显然与实际不符,我们对这部分也进行了修正。
复发转移阶段由于既往治疗复杂,难以判断是否耐药以及是否可以药物再使用,因此与指南的符合率仅有94.6%和87.4%。临床工作中,是否耐药仍缺乏可靠标准,用其判断是否耐药更会存在明显误差,因此,我们添加了是否耐药的选项,由临床工作者进行判定是否耐药,避免系统判定错误引发的伦理问题。
Ⅱ期临床研究验证了CSCO AI系统与CSCO BC指南总体的符合率可达到95%以上,符合临床需求,我们也完善了CSCO AI系统的逻辑算法,推动该系统的进一步成熟。
对比医生决策的优劣性:Ⅲ期临床研究主要是通过随机化试验,探索CSCO AI对临床的实际帮助,同时进一步优化界面,便于后续推广工作。
CDSS是否可以优化临床决策,以及如何评价优化程度,尽管通过对比接受智能决策方案或临床医生方案,并进行随访的前瞻性研究更有意义,但目前仍存在伦理问题,因此利用回顾性数据是探索决策优化的常用手段[17]。对比不同方案与CSCO BC指南或美国国立综合癌症网络(NCCN)指南的符合率,可以辅助判断组间差异。因此我们根据两本指南,制定了评价量表,用于智能系统的验证。决策方案若符合指南高级别推荐NCCN指南1类证据或CSCO BC指南Ⅰ级推荐且符合临床实践,则为完全符合,可予3分;若符合高级别推荐但不符合临床实践,或符合NCCN指南2A类证据或CSCO BC指南Ⅱ级推荐且符合临床实践,则为高级别符合,可予2分;若不符合指南,但符合临床实践,或仅符合NCCN指南2B类证据或CSCO BC指南Ⅲ级推荐可予1分;若不符合指南且不符合临床实践的,则予0分。为了保证评分的相对合理性,选择两名10年以上乳腺癌临床治疗经验的专家进行独立评分,对评分不一致的由30年以上乳腺癌临床治疗经验的专家进行仲裁,形成最终评分。
临床研究设计中,不同研究目的设计不同的临床研究,我中心利用WFO系统,对比医生决策和医生+WFO决策的方法的优劣,结果中可以看出,参考WFO后医师决策方案与原方案的一致性为56%,不同级别医师的一致性存在差异,住院医师显著高于主任医师和主治医师(68%与54%;49%;P=0.001)。提示了不同医生对WFO系统的接受度不同。我们也利用决策评价量表,评价方案更改后是否更加符合指南,从而探讨WFO对临床医生的实际意义。
CSCO AI系统Ⅲ期验证则采取了另一种模式,即对比临床医生与CSCO AI系统给出Ⅰ级推荐方案的差异。从CSCO BC数据库中,筛选不同阶段、不同类别的乳腺癌病例,整理成试题后,筛选了不同层级和背景的临床医生,完成试题后,再根据CSCO BC指南进行答题。利用智能决策评价量表(表1),通过盲法对两份医生答卷和CSCO AI答卷进行评分,从而对比CSCO AI方案与不同层级医生的符合程度,定位CSCO AI方案更符合哪一层级医生。该结果正在进一步分析中。

智能决策评价量表(CSCO AI v1802)
智能决策评价量表(CSCO AI v1802)
| 分层 | 评分标准 | 评分 |
|---|---|---|
| 完全符合 | 符合NCCN 1类证据或CSCO BC指南Ⅰ级推荐,且符合临床实践 | 3 |
| 高级别符合 | 符合NCCN 2A类证据或CSCO BC指南Ⅱ级推荐,且符合临床实践 | 2 |
| 或符合NCCN 1类证据或CSCO BC指南Ⅰ级推荐,但不符合临床实践 | ||
| 低级别符合 | 不符合NCCN或CSCO BC指南,但符合临床实践 | 1 |
| 或仅符合NCCN2B类证据或CSCO BC指南ⅡⅠ级推荐 | ||
| 不符合 | 不符合NCCN及CSCO BC指南,且不符合临床实践 | 0 |
临床推广应用的可靠性:经Ⅰ~Ⅲ期研究后,CSCO AI系统已经符合临床需求,可以开始市场推广应用。考虑到各地治疗的差异,拟通过Ⅳ期临床研究,在广泛使用条件下考察AI的可靠性,同时优化界面,进一步扩大应用。
目前已经开展了智能医生培训,帮助临床工作者更好地熟悉CSCO AI系统,随后以课题形式,在全国定点医院进行推广和测试。通过收集患者信息及后续治疗,了解不同专家对CSCO AI的接受程度,同时根据临床需求,加入医保、经济因素、安全性等数据,完善智能决策系统,建立新的预测模型,如骨髓保护、肝损伤预测模型,提高CSCO AI系统的适用范围,推动智能化全程管理理念。
CSCO AI系统是基于中国核心算法,在CSCO BC指南和数据库的基础上,形成的智能决策系统。目前已在30余家医院开展了相关应用研究,后续我们将继续优化CSCO AI系统,使之更加智能化,为响应国家科技创新2030"新一代人工智能"重大项目号召而努力。
所有作者均声明不存在利益冲突





















