随着信息技术的发展，人工智能为疾病诊疗带来重要价值。然而，人工智能中存在算法偏见现象，可导致医疗卫生资源分配不均等问题，严重损害患者的健康公平。算法偏见是人为偏见的技术化体现，其形成与人工智能开发过程密切相关，主要源于数据收集、训练优化和输出应用3个方面。医护工作者作为患者健康的直接参与者，应采取相应措施以预防算法偏见，避免其引发健康公平问题。医护工作者需保障健康数据真实无偏见、优化人工智能的公平性和加强其输出应用的透明度，同时需思考如何处理临床实践中算法偏见引发的不公平现象，全面保障患者健康公平。本研究就健康领域中算法偏见的形成原因和应对策略展开综述，以期提高医护工作者识别和处理算法偏见的意识与能力，为保障信息化时代中的患者健康公平提供参考。
本刊2023年版权归中国全科医学杂志社所有
未经编辑部许可，不得任意转载和摘编
本刊所发表作品仅为作者观点，并不代表编委会和编辑部意见
如有印装质量问题请向本刊发行部调换
近年来，国家提倡加快信息技术与医疗健康行业融合，推动全民健康信息化建设。人工智能（artificial intelligence，AI）是健康信息化的重要内容，指计算机利用算法对数据进行学习后，模仿人类的思维和行为[1，2]，从而辅助临床决策。随着技术不断提升，AI对疾病诊断、监测和治疗的价值日益凸显，在风险因素识别、健康资源分配和精准医疗干预等多方面发挥重要作用[3]。然而，AI的学习过程经由人类开发设计，从数据选择、标签确定，到训练优化、审查应用，全过程均涉及人为的选择与决策，即便AI本身能够客观反映数据，但其学习到的规则逻辑和社会影响却并非完全客观、公正，在辅助临床决策时会产生与人类相似的偏见行为，即算法偏见（algorithmic bias），表现为AI会因劣势群体的种族、性别、宗教和经济等因素而生成差异的输出结果和健康建议，并对该群体产生不良影响[4]。
信息化时代下，算法偏见普遍存在，且与健康公平（health equity）密切相关。健康公平是指个体在改善健康状态时，应拥有公正的机会以获取和利用医疗卫生资源[5]。算法偏见类似人为偏见，会因劣势群体的经济水平或特殊性别特征（如性少数群体）等因素而侵害其健康公平，导致该群体获得较少的医疗资源和诊治机会，健康状态相对较差[1]。OBERMEYER等[6]研究指出，基于医疗开销构建的AI严重侵害经济劣势群体（如非洲裔种族）的健康公平。从表面上看，医疗开销作为AI的训练标签，能够综合反映患者的疾病风险，医疗开销值越高则疾病风险越高，从而准确识别高危风险人群，然而实际上，人为选择的这一标签会导致AI算法忽略医疗开销高低背后的本质原因，如经济优势群体容易寻求医疗救治（如门诊就医），产生较多的医疗开销，致使AI学习到偏见逻辑，倾向于将经济优势群体判定为高疾病风险人群，最终该群体被分配较多医疗资源，影响经济劣势群体的健康公平。
因此，算法偏见的本质并非算法自身问题，而是构建和使用AI时所涉及的人为选择和决策问题。由于数据导向的AI常被认为比人类思维客观、公正，医护工作者在应用AI时容易忽略其带来的潜在不公平。鉴于此，本文旨在对健康领域中算法偏见的形成原因和应对策略进行综述，以期提高医护工作者对算法偏见的认识，并提出可能的解决策略，为保障医疗卫生信息化背景下的患者健康公平提供参考。
算法偏见的形成贯穿AI开发全过程，因数据收集阶段隐含偏见而埋下隐患，因训练优化阶段缺乏公平性而嵌入AI，因输出应用阶段缺乏透明度而产生影响，并继而加剧数据收集阶段中的偏见，造成算法偏见的恶性循环。明确算法偏见的形成原因有助于医护工作者识别算法偏见现象，预防其对患者健康公平的侵害。
数据是AI学习的核心，也是导致算法偏见的主要原因，理想的健康数据应能够真实、无偏见地反映临床实践[7]。然而，人为偏见常常隐藏于临床健康数据之中，尤其是病历记录等非结构化文本数据，致使AI学习数据中的偏见，形成算法偏见[8]。例如，CHEN等[9]指出医护工作者常会无意识地认为某类人群不易患有特定疾病，如相比于男性，女性因较少的吸烟行为而被认为不易患有肺炎，从而导致在记录女性肺炎患者的症状时，医护工作者倾向于将其症状描述得复杂、多样，致使该群体的文本数据异质性较大，难以真实反映疾病情况；若利用该文本数据预测肺炎患者的死亡率，将形成算法偏见，体现为AI对女性肺炎患者的预测结局复杂多样，继而导致医护工作者易对该群体采取错误的医疗决策。
临床情境差异导致的样本缺乏代表性同样会使健康数据隐含偏见。临床罕见疾病或偏远地区人群数据缺失等问题将导致AI无法充分学习这一类群体的健康特征，从而引发算法偏见[10]。例如，BORGESE等[11]在通过AI预测酒精滥用行为时发现，由于数据中低年龄患者的占比较低，致使AI对该人群的疾病诊疗方式学习不充分，易出现错误的预测结果，从而导致该群体中的高风险患者未能及时接受治疗，造成健康公平问题。综上，健康数据常难以真实反映临床实践，人为无意识偏见和临床样本缺乏代表性等问题可使健康数据隐含偏见，为算法偏见埋下隐患。
AI训练优化的过程由人类开发设计，目前健康领域侧重使AI能够输出与实际情况相一致的诊断或预测结果，然而，准确地输出结果并不意味AI能够平等对待劣势群体，即AI的精确性并不等同于公平性[12]。具体而言，精确性和公平性均是AI训练优化的评估指标，精确性侧重从样本总体的角度评估AI预测结果与实际情况的相符程度，而公平性侧重从样本亚组的角度评估AI对不同亚组的预测能力（如预测值、假阳性率）有无差异[13]。医护工作者在开发AI时若忽略对公平性这一指标的考量，将致使客观、公正的AI算法不受约束地直接学习数据中的隐含偏见，形成偏见的规则逻辑，导致AI区分对待劣势群体[14]。
在训练优化阶段中，医护工作者对AI训练方式、训练内容的选取将直接影响公平性。由于不同亚组间（如非洲裔和拉丁裔）患者的基因、生物、社会等因素存在差异，医护工作者若采用基于样本总体的经典训练方式，如决策树模型等，易导致AI虽然能够准确地进行健康预测与决策，但会忽略各亚组间的差异，难以同时提升AI的精确性和公平性[15]。AI的输入特征、输出标签等训练内容也可影响公平性。国外多项研究在预测肾小球滤过率时发现，将种族作为输入特征虽有助于提升AI的精确性，但不同种族之间存在生理差异可能致使AI的公平性降低，亚组上表现为非洲裔美国人的肾小球滤过率预测值过高，诱导医务工作者将其肾脏功能视为更加健康，从而延误疾病的诊断与治疗[16，17]。综上，AI的精确性不等同于公平性，医护工作者在选取AI的训练方式及训练内容时，若仅关注精确性而忽视公平性，易导致客观、公正的AI算法学习数据中的偏见，促使算法偏见形成。
算法偏见的判定包括两个条件，一是AI区分对待劣势群体，二是相较于优势群体，AI对劣势群体产生实际不良影响。然而，由于AI技术具备"仅判相关"和"黑箱"的特性，导致医护工作者在构建和应用AI时存在低透明度问题，即难以评估人为选择内容对AI逻辑与输出的影响，从而加剧算法偏见[4]。首先，AI具有"仅判相关"的特性，即AI仅能学习数据中变量之间的相关性，而不考虑推理与决策的因果关系，这一特性会导致AI从数据中学习超出人类预期的异常逻辑规则[18，19]。例如，CARUANA等[20]在预测肺炎患者死亡风险时指出，同时患有肺炎和哮喘的患者多在重症监护室接受治疗，鉴于重症治疗技术和资源的分配具有优势，使得该群体的死亡率反而低于仅患有肺炎的患者，导致AI学习反常的相关性逻辑，错误地将哮喘判定为肺炎患者的保护因素。其次，AI技术常被视为"黑箱"，即高度复杂的AI计算过程通常超出人类的认知与理解能力，致使医护工作者难以明确和解释AI输出结果的产生原因[13]；PARASURAMAN等[21]在此基础上指出，实践应用过程中AI的普及推广和临床任务的复杂性等外界因素会再次加剧这一问题，促使医护工作者易默认AI的输出结果正确无误，阻碍其发现算法偏见的形成和影响。最终，基于AI偏见输出的临床决策将诱发健康公平问题，并在实践应用过程中加剧数据产生与收集的隐含偏见，形成算法偏见的恶性循环[22]。
面对算法偏见的挑战，医护工作者需保障真实无偏见的数据收集，优化训练过程中的AI公平性，并加强AI输出应用的透明度，从而减少算法偏见，避免AI因患者的种族、性别等方面的特征而对其产生劣势影响，以维护患者的健康公平。
高质量数据是降低算法偏见的关键，医护工作者作为健康数据的生产者、采集者和管理者，需保障健康数据的真实无偏见[22]。首先，医护工作者需减少健康数据中的人为偏见，可利用标准化数据以规范数据的记录内容，通过对比主客观资料，识别和纠正自身因无意识偏见而对劣势群体做出的差异推断，从而避免录入偏见信息[23]；亦可采用对抗学习等技术手段以选取真实数据，或通过提升标准化客观数据的内容占比，从而减弱健康数据中的人为偏见[10，24]。其次，医护工作者需了解健康数据的分布情况，分析各亚组数据对AI学习的影响，以此判断是否存在劣势群体数据缺失等问题，进而通过数据审查、数据集合并等方法确保不同亚组的数据分布均衡[12，19，25]。例如，OBERMEYER等[6]在预测疾病风险人群时，通过调整白种人和非洲裔美国人的预测标签，使两者的健康数据分布相似，最终非洲裔美国人的健康资源分配率从17.7%提升至46.5%。此外，医护工作者应知晓健康数据中的偏见本质上来源于临床实践，故需考虑如何从偏见数据中识别和管理人为偏见，以保障真实无偏见的数据产生与收集[10]。
高精确性AI虽然能够输出准确的预测结果，却可能因缺乏公平性而区分对待劣势群体，医护工作者需在训练优化阶段中评估和改善AI的公平性[26]。AI公平性的评估可从总体和亚组两个角度切入，医护工作者需结合亚组间患者健康状况差异以选取合适的评估方法[14]。具体而言，当不同亚组间患者健康状况差异较小时，应选择从总体角度评估，判断AI对同一总体患者的预测值，如疾病发病率是否会随患者性别、种族等信息的改动而发生异常变化[13]；反之，当亚组间患者健康状况差异较大时，应从亚组角度评估，判断AI在不同亚组间的真阳性率等预测能力有无差异[24]。此外，KLEINBERG等[15]在亚组角度的基础上指出，评估方法的选取尚需考虑AI预测结果对患者健康结局的影响，如当预测结果对患者产生较大的消极影响时，应侧重评估AI的假阳性率，消极影响较小时则侧重评估假阴性率。
医护工作者可通过调整AI的训练方式，纠正AI规则逻辑的学习过程，从而改善公平性，降低算法偏见。例如，BORGESE等[11]在预测酒精滥用行为时指出，当AI在亚组角度上的预测能力（如假阳性率）存在差异，可将数据按照性别、种族等进行亚组分类，并针对各亚组数据进行逐一训练，一定程度上能够维护AI对劣势群体的学习过程，具有改善公平性的潜能；GAO等[27]进一步指出，当劣势群体的数据严重缺乏，基于亚组的逐一训练效果不佳时，可在训练阶段采用迁移学习的算法，通过利用优势群体的数据，改善AI对劣势群体的学习过程。此外，医护工作者应思考AI的训练内容是否客观、公正，需侧重选取能够直接反映个体健康状况的训练内容[10]。例如，对于上述根据医疗开销这一标签构建的AI，表面上该AI能够基于医疗开销的高低，看似公正、准确地预测高危人群，但若将该标签替换为慢性病共病种数，可发现相同风险下，不同种族之间患者的健康状况存在明显差异[6]。值得注意的是，优化AI公平性可能会以降低其精确性为代价，因此医护工作者应权衡如何在提升AI公平性的同时维持高精确性，从而保障AI的临床应用价值[28]。
医护工作者作为患者健康的直接参与人员，需能够理解AI偏见结果的产生原因，并判断其对患者健康公平的实际影响，从而改善AI在输出应用过程中的低透明度问题，及时预防算法偏见[2]。首先，医护工作者需提升对AI学习过程的理解，积极参与AI开发的全过程，包括数据审查、特征选择、算法构建与优化、性能评估与验证等各开发环节，可辅以因果网络或半监督学习等技术手段协助识别AI输入数据和输出结果之间的规则逻辑，使AI学习过程有迹可循，从而及时发现AI偏见输出的形成[29，30，31]。其次，医护工作者需深思临床任务的内在特征，明确使用AI决策的必要性和现实意义，权衡AI决策的优势与局限，以避免过度依赖AI的输出结果[2，21]。再者，医护工作者在应用AI过程中，需能够从个体行为、环境交互、社会文化和医疗政策等方面综合分析AI输出结果对患者健康公平的影响[32]。这一目标需医护工作者咨询和倾听多方意见以避免片面评估，可联合患者、技术人员和管理人员等利益相关人群共同参与AI审查，或通过可视化手段直接呈现AI应用对临床效益的影响，从而预防算法偏见的不良影响[13，23，28]。然而，提升AI输出应用的透明度虽能降低算法偏见的影响，却无法消除人为因素导致的偏见现象，因此医护工作者在分析AI对患者健康公平的影响时，需思考如何将算法应用与人为偏见相剥离，实现在审查AI的同时能够识别临床实践中的不公平现象。
AI作为一把"双刃剑"，虽能为临床实践带来重要价值，却会因算法偏见而损害劣势群体的健康公平。算法偏见本质上是人为偏见的技术化体现，而这种偏见常因算法或数据的客观性而被忽略。由于现实生活中存在偏见现象，导致收集的健康数据中隐含偏见，致使AI学习到偏见的规则逻辑，继而在临床实践中对劣势群体产生不良影响，形成恶性循环。医护工作者作为AI开发设计与实践应用的主要参与人员，应知晓人为选择与决策可能导致客观算法的不公平性，故需具有应对算法偏见的意识与能力。首先，医护工作者需保障健康数据真实无偏见，避免在收集客观数据时加入个人的主观推断，并注意是否存在数据比例失衡、偏远数据缺失等问题，从而确保数据能够准确无误地反映现实世界；其次，医护工作者需权衡AI训练优化的公平性与精确性，动态评估人为选择的训练方式和训练内容对AI性能所产生的影响，从而确保AI在公平的前提下实现最大效益；最后，医护工作者需加强AI输出应用的透明度，通过深化自身对临床任务和AI技术的认识，评估传统决策与AI决策对患者健康的影响，权衡AI技术在临床实践中的优劣，从而避免因过度依赖AI技术而忽略患者主体，防止AI算法偏见产生实际影响，并尚需思考如何辨别和管理临床实践中的不公平现象及人为偏见，全面维护患者健康公平[33]。
陈龙，曾凯，李莎，等.人工智能算法偏见与健康不公平的成因与对策分析[J].中国全科医学，2023，26（19）：2423-2427. DOI：10.12114/j.issn.1007-9572.2023.0007. [www.chinagp.net]
CHEN L，ZENG K，LI S，et al. Causes and countermeasures of algorithmic bias and health inequity[J]. Chinese General Practice，2023，26（19）：2423-2427.
本文无利益冲突。
