
随着深度学习和大数据技术的爆发式增长,人工智能渗透应用于医疗卫生各个领域,为患者带来高效优质的健康服务的同时,也涌现出一系列伦理和社会治理问题。为规避和消解医学人工智能发展中可以预见的伦理风险和治理挑战,世界卫生组织(WHO)于2021年6月28日首次发布《医疗卫生中人工智能的伦理治理》指南,旨在对临床实践中部署人工智能提供伦理指导框架。当前医学人工智能伦理治理尚存缺陷,本文以“健康中国2030”和WHO指南为战略思想,提出塑造医学人工智能伦理共识,建立人类主体和责任权属规则,完善法律法规体系,确定人类决策和道德主体地位,兼顾跨学科人才伦理素养的培养等中国启示以期推进医学人工智能伦理治理发展。
版权归中华医学会所有。
未经授权,不得转载、摘编本刊文章,不得使用本刊的版式设计。
除非特别声明,本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。
人工智能是基于人类定义的目标做出预测、建议或影响真实或虚拟环境的决策,旨在以不同的自主程度运作的机器系统[1]。人工智能算法的进步为全球医疗卫生领域累积的大量数据提供了强有力的模型训练工具,推进了辅助疾病诊断、病程跟踪、预后评估、复发预测和精准医疗等疾病诊疗管理过程的进展,呈现出高效、精准、高一致性和便捷的优势[2, 3, 4]。然而,在医学人工智能技术的整个生命周期中,发现基础层数据共享获取、技术层人工智能算法开发、应用层产品落地各阶段[5]存在的患者信息保密安全[6]、隐私保护、偏见与公平受益、医疗损害中的责任认定、医患关系异化和人的主体决策地位等伦理问题[7]和信息冗余等社会治理问题[8]亟待规范、建议和指导。近年来,全球围绕医学人工智能产生的伦理问题展开了广泛讨论。中国作为最大的发展中国家,病患总数、算法算力、计算机硬件水平等需求为其带来巨大工作负荷,伦理方面也面临重大挑战。
为保护患者权益,规避和消解医疗人工智能发展中可以预见的伦理风险和治理挑战,世界卫生组织(World Health Organization,WHO)于2021年6月28日首次发布《医疗卫生中人工智能的伦理治理》指南,阐述了人工智能伦理使用的六项原则,其中一些原则与现有的使用和监管形成鲜明对比,对临床实践中部署人工智能提供了有力支撑。本文通过研究全球医学人工智能的应用现状,分析其可能存在的伦理问题,结合WHO医学人工智能伦理指导原则,为我国医学人工智能伦理治理提供对策建议,促进健康中国的发展,提高人类的健康水平。
基于人工智能的技术能力与应用情境,可将其在医疗卫生领域的发展划分为“用于加快工作流的操作工具[9]、用于辅助诊断的协作工具、用于替代决策的支持工具”三个递次层面进行分析与归纳。
为加快临床工作流程提升效率,人工智能技术应用于海量医学信息数据的管理[10]。将电子病历、病案记录、实验室数据、基因组学数据等收集、存储、结构化、追踪[11],通过各信息系统的互联和数据挖掘,从病案资料中挖掘更多信息。AI医生&线上问诊通过语音识别功能提取用户病情描述,与疾病数据库匹配后推荐诊疗方案人工智能技术还可简化日常诊疗流程,以更低的成本为更广泛的人群提高健康水平[12]如电子病历语音录入、智能导诊分诊机器人等。在医疗资源非常紧张的地区启用数字病理远程会诊平台,应用人工智能技术分析医学影像及病理切片组成的结构化数据,进行辅助影像和病理诊断,实现远程医学信息交互,缓解医疗资源分配不均的困境。
作为辅助诊断的协作工具,人工智能在医学领域中应用的比较突出的是影像学辅助诊断[13]。如在皮肤癌、眼部疾病等领域应用较多的病变检测和识别分类技术[14],为确诊新型冠状病毒肺炎研发的AI+COVID-19诊断系统采用器官组织分割技术对肺部病变CT影像分割和诊断分析[15],配准与定位、量化模型构建、解剖与细胞结构检测等其他方面的具体算法和网络模型取得了大量的研究成果与转化[16]。此外,还有智能辅助个性化诊断、人机交互辅助诊断、精准治疗辅助决策等重要发展方向处于科学研究和产品研发过程中[17]。
在替代决策方面,临床决策支持系统(Clinical Decision Support System,CDSS)为医疗卫生专业人员提供专家支持计算机程序[18],通过人机对话,根据患者数据并作出有关诊断、预防和治疗的决策[16],提高决策有效性。
近年来,全球围绕医学人工智能产生的伦理问题展开了广泛讨论,对其设计者、管理者、使用者和受用者的伦理治理框架仍处于探究阶段。基于人工智能的技术能力与应用场景,依据人机关系互动强度高低,将“作为工具的人工智能提升效率、作为合作者的人工智能辅助决策、作为支持者的人工智能替代决策”的递进关系穿插于全球医学人工智能伦理治理现状要点中,以探讨医学人工智能伦理问题。
1. 人类主体的自主性弱化:医学人工智能根据输入图像、文本数据的特征匹配和选择标签,输出结果。人工智能的出现固然提高了临床医生的工作效率,减少了主观因素如个人知识、价值观、偏好和信仰的影响,但促使人们倾向于支持自动决策系统的建议,人类对算法技术的依赖程度加剧,人类在医疗卫生领域的主体地位面临削弱的趋势。
2. 潜在安全风险问题:目前,人工智能在医疗健康领域应用的数据质量标准、在使用环境中的验证质量评估体系尚是空白,且深度学习的“技术黑箱”“解释黑箱”特性导致机器输出决策的原理“透明度”较低[19],“如何评判医生理解机器提供的解决方案并转化提供给患者信息的基础能力”“人工智能医疗是于患者有益的吗?”“患者在什么情况下应用医学人工智能获益最多”这些涉及价值观和规范的冲突是不可避免的,尚且没有标准回答,不利于监管和迭代,阻碍了人工智能产品在医疗健康领域的应用和发展。
3. 医患关系异化问题:人工智能在医疗卫生领域中的应用将传统的医患“信息不对等”主从关系衍生出医生、患者、人工智能的新型交往模式,这一社会关系的加入医患关系后这个三角关系会使得患者对医生的不信任加剧[20],会给治疗依从性、就医体验带来更多挑战,使得本就紧张的医患关系更加错综复杂。
4. 医疗责权划分问题:由于医疗人工智能的研发应用涉及多个学科,如医学、计算机、伦理学、法学等不同学科交叉,在每个领域都有一套行业内的规则和道德规范,这些规范性规则的应用程度是否会根据经验条件调整,当致使临床纠纷、人类伦理或法律的冲突问题时,主要由设备或仅由设备产生的行为是否真的可以归因于人类,如何追溯伤害实现问责,谁来承担患者不良诊疗结局的责任,赔偿分配等问题亟待合理的风险责任制度和赔偿问责体系来指导规范[21]。
5. “健康平等”失衡问题:精细化、复杂化的操作、维护过程使得人工智能医学应用需要高昂的人力、金钱、设备、环境等因素支持,而医疗资源配置不均导致落后地区的医务从业人员数量少、专业技能低,两者综合压迫下削弱了人工智能医学应用的可及,加剧了资源可及性不均衡,无法让更多人获得高质量的医疗健康服务,无法享受到人工智能的技术红利。同时医学人工智能通过提供个性化服务的同时加剧了社会不公现象,中产及以上社会经济地位更高的群体、发达国家公民、城市居民集中掌握和使用定制医疗模式,社会贫富差距造成的“健康平等”差异拉大,以致正义失衡。
6. 利益冲突和失业危机问题:人工智能技术开发需要耗费包括海量的计算资源以及大数据,市场垄断带来的“富者更富”的马太效应将延续或加剧现有的薪资、收入以及财富分配差距。同时,全新生活方式也会诱发卫生保健提供者的“结构性失业”风险,基于人工智能技术的就业机会需要耗费昂贵的时间、金钱成本参加职业技能培训,且新工作的不稳定性难以缓解“被替代”的劳动力危机。另外涉及医学人工智能的利益相关方之间的具体激励往往与患者的利益极不一致,造成利益分配分歧。
7. 隐私保护问题:机器学习算法已经被证明可以有效地在大量数据中识别和分析模式,以提高它们的识别能力和性能。然而,对数据量的需求不断增加,模糊的数据实体鼓励了数据产业高速增长,但增加了以牺牲用户隐私为代价,过度分享个人或公共信息的风险[22]。且个人健康信息这一数据资源在共享实践中存在着被无序开发及滥用,最终可能还会陷入个人数据,隐私保护被侵犯的困境。
为使全球各国关于医学人工智能伦理研究的指导框架达成共识,WHO卫生研究部的卫生伦理治理团队以及数字卫生与创新部联合编写《医疗卫生中人工智能的伦理治理》指南,标志着范式研究阶段的终结。基于WHO医疗人工智能伦理和治理专家组的集体意见,专家组由20名公共卫生、医学、法律、人权、技术和伦理方面的专家组成,全面分析了人工智能的许多机遇和挑战,并推荐了将人工智能用于医疗健康的伦理使用政策、原则和做法,以及避免滥用人工智能损害人群和法律权益的方法。指南认可了一套关键的伦理原则。WHO希望这些原则将被用作政府、技术开发商、公司、民间组织和政府间组织的基础,采用合乎伦理的方法来适当地将人工智能用于医疗卫生,主要包括六项原则。
1. 保护人类自主权:人工智能的使用可能导致决策权可以转移到机器的情况。自主原则要求使用人工智能或其他计算系统不会破坏人类的自主性。在医疗保健方面,这意味着人类应该继续控制医疗保健系统和医疗决策。尊重人类自主权还需要相关职责,以确保提供者安全、有效使用人工智能系统所需的信息,并确保人们了解此类系统在他们的护理中发挥的作用。还要求通过适当的数据保护法律框架保护隐私和保密性并获得有效的知情同意。
2. 促进人类福祉和安全以及公共利益:人工智能技术不应该伤害人类。人工智能技术的设计者应符合明确定义的使用案例或适应证的安全性、准确性和有效性的监管要求。应提供实践中的质量控制措施和随着时间的推移人工智能使用的质量改进。预防伤害要求人工智能不会导致可以通过使用替代实践或方法避免的精神或身体伤害。
3. 确保透明度、可解释性和可理解性:人工智能技术应该为开发者、医疗专业人员、患者、用户和监管机构所理解或了解。提高人工智能技术的透明度和使人工智能技术具有可解释性是两种广泛的增强可理解性方法。透明度要求在设计或部署人工智能技术之前发布或记录足够的信息,并且此类信息有助于就技术的设计方式、应该或不应该以及如何使用进行有意义的公众咨询和辩论。人工智能技术应该根据其面对的解释对象的理解能力进行解释。
4. 发展责任和问责制:人类需要对系统可以执行的任务以及它们可以实现所需性能的条件进行清晰、透明的规范。利益相关者有责任确保人工智能能够执行特定任务,并确保在适当条件下由经过适当培训的人员使用人工智能。责任可以通过应用“人为维护(human warranty)”来保证,这意味着患者和临床医生在人工智能技术的开发和部署中进行评估。人工维护需要通过建立人工监督点来应用算法上游和下游的监管原则。如果人工智能技术出现问题,就应该追究责任。对于受到基于算法决定的不利影响的个人和群体,应该有适当的机制来进行质疑和纠正。
5. 确保包容性和公平性:包容性要求医疗卫生人工智能被设计用于鼓励尽可能广泛地适当、公平地使用和获取,而不论年龄、性别、收入、种族、民族、性取向、能力或受人权法保护的其他特征。与任何其他技术一样,人工智能技术应该尽可能广泛地共享。人工智能技术不仅应可用于高收入环境中的环境和需求,还应可用于中低收入国家的环境和能力以及多样性。人工智能技术不应该对可识别群体,尤其是已经被边缘化的群体不利的偏见进行编码。偏见是对包容性和公平的威胁,因为其可能导致对平等待遇的背离。人工智能技术应该最大限度地减少在提供者和患者之间、决策者和民众之间以及创建和部署人工智能技术的公司和政府与使用或依赖人工智能技术的公司和政府之间不可避免的权力差距。应监控和评估人工智能工具和系统,以确定对特定人群的不成比例影响。任何技术,无论是人工智能还是其他技术都不应维持或恶化现有形式的偏见和歧视。
6. 促进具有响应性和可持续性:响应性要求设计者、开发者和用户在实际使用过程中持续、系统和透明地评估人工智能应用程序。他们应该确定人工智能是否根据沟通的、合法的期望和要求做出充分和适当的响应。响应能力还要求人工智能技术与卫生系统、环境和工作场所的可持续性的更广泛促进保持一致。人工智能系统的设计应尽量减少其对环境的影响并提高能源效率。也就是说,人工智能的使用应符合全球减少人类对地球环境、生态系统和气候影响的努力。可持续性还要求政府和公司解决工作场所的预期中断,包括培训医护人员以适应人工智能系统的使用,以及由于使用自动化系统而导致的潜在失业。
在WHO明确医学人工智能伦理治理重要地位的背景下,我国医学人工智能伦理治理将以政府引导为战略支撑,社会各界群策群力为路径,共同维护医学人工智能伦理的发展。
1. 确立人类道德和决策主体地位:秉承“以人为本”的观念,保证人类在价值观、环境、压力、情绪等道德社会因素纳入临床决策综合评估时的绝对优势,尊重患者的意愿与权利,在技术应用时进行最大程度的伦理风险评估和防控,确定以人类为主体的医疗决策行为,合理组合“智能+医学”确保患者得到公平而温情的健康服务。
2. 塑造医学人工智能伦理共识:创造以人道主义、人文精神为内核,人工智能技术逻辑为中心的医学人工智能伦理常识,与医疗领域法律规范实现有机衔接,兼容价值层次、社会关系,形成涵盖数据、算法、设备整个人工智能生命周期的医疗实践框架。限制并监管相关利益方和受益方开展工作,确保发展与人工智能版本新健康生活相适应的新的伦理、法律和哲学。
3. 建立数据安全监管部门更新漏洞:医学人工智能系统对健康数据的使用范围和期限应当遵守一定的治理标准,限制授权人员的访问范畴,正在传输和静止的数据必须加密。且医学人工智能监管领域应专设数据安全部门,要求持续监测并发布任何与数据库安全漏洞、缺陷有关的发现,以改进和修复系统,从而将损害降低到最小。此外,开发人员应积极确保采集的数据提供足够代表信息,以保证人工智能模型推广到系统开发的环境之外后效果符合预期,在不同的人群亚组中具有可重复性或外部有效性。
4. 明确相关利益方责任权属和经济效益分配:《中华人民共和国民法典》中“医疗损害责任”规定:患者在诊疗活动中受到损害,医疗机构或者其医务人员有过错的,由医疗机构承担赔偿责任。以政府为引导建立由医学专家、伦理专家、法律专家、技术专家组成的医学人工智能伦理审查委员会,评估判定医疗事故中的责任归属。设置由数据采集方(扫描设备),数据注释方(临床医生),开放人员(研究机构)组成的资金投入-回收系统,确立医疗系统和机构在公众社会方面的收回成本及提供支持的框架,在项目规划阶段明确对算法和数据使用的资金资助和补偿机制,以商业化途径解决算法上市使用后的市场价值问题。
5. 设置医疗保健相关人工智能工具的平等阈值:对人工智能开发过程中使用的人群年龄、性别、种族或其他受保护的特征进行平均比例分配,以偏倚比较和公平的系统测试作为模型投入应用的公平性首要考量条件,以尽可能地减弱不公平等现象。
6. 伦理道德教育纳入多学科人才培养体系:在工科学生的课程设计和讲座培训中纳入伦理道德教育,让医学生为人工智能设备技术培训和工程开发方法做好知识准备,从而使伦理规则自然成为设计过程的一部分。来自生物医学、心理学、伦理学、经济学、法律和政策等领域的科学家和研究人员都需要参与定义公平、正义和平等规范的感知和概念,并确定在给定领域使用人工智能的可接受和安全行为。
7. 完善法律法规监管体系:我国颁布的《医疗器械监督管理条例》提出要依法追究责任人责任并详列罚则,也相继出台了《人工智能辅助诊断技术管理规范(试行)》《关于促进规范健康医疗大数据应用发展的指导意见》《关于加快发展康复辅助器具产业的若干意见》等,为保障医学人工智能技术的规范应用,应进一步细化完善法律法规体系,建立算法监管框架,保护患者信息权利,患者自主权,预期安全风险,数据质量等问题明确设定“红线”阈值。
综上,《医疗卫生中人工智能的伦理治理》指南将在医学人工智能的研发与应用中起到良好的促进作用,有利于医学人工智能伦理治理指导框架的搭建,提高临床诊疗质量和工作效率,促进卫生健康事业的良性发展。我国作为世界卫生组织的创始国之一,“人类卫生健康共同体”的提出者,研究制定并有效实施具有示范价值的中国特色的医学人工智能伦理治理指导共识势在必行,可为其他发展中国家借鉴用于构建国家层面的伦理治理战略,从而推进人类卫生健康事业技术化发展的进程。
所有作者均声明不存在利益冲突





















