对蒙特利尔认知评估量表（MoCA）与简明智力状态检查量表（MMSE）进行智能化（即i-MoCA/i-MMSE），并在临床人群中通过比较智能化量表与人工施测量表的一致性验证其效度。
前瞻性纳入2023年2至10月在首都医科大学宣武医院门诊就诊、主诉为认知功能下降的患者，共入组88例，年龄（66.82±11.37）岁，男30例，女58例。采用一致性研究设计，每例受试者需要分别完成人工施测的MoCA和MMSE，以及i-MoCA和i-MMSE。为控制练习效应的影响，两种测评需间隔2周完成。人工施测和智能化量表的完成顺序在受试者间进行随机。采用一致性相关系数（CCC）来计算智能化和人工施测量表的可靠性，通过协变量方差分析比较智能化和人工施测量表的差异，通过受试者工作特征曲线计算特异度与敏感度分析智能化量表的评估准确性。
智能化量表和人工施测之间存在较高的一致性（CCCMoCA=0.87，CCCMMSE=0.83）。在控制了基本人口学信息后，智能化量表和人工施测的得分差异无统计学意义（P>0.05）。以人工施测作为标准，i-MoCA诊断认知障碍的准确率达94.3%（灵敏度=94.6%，特异度=78.1%），i-MMSE诊断认知障碍的准确率达94.9%（灵敏度=94.9%，特异度=77.6%）。除此以外，同样在两种量表的多项子功能之间发现了较高一致性（CCCMoCA=0.32~0.78； CCCMMSE=0.54~0.79）。
智能化量表无论在整体认知功能还是子功能上都和人工施测具有较高的一致性与诊断准确性。
版权归中华医学会所有。
未经授权，不得转载、摘编本刊文章，不得使用本刊的版式设计。
除非特别声明，本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。
随着社会老龄化程度的不断加剧，痴呆与认知障碍患病率在逐年增加［1］。2023年的数据显示，中国60岁及以上人群痴呆患病率为6%，轻度认知障碍（mild cognitive impairment，MCI）的患病率达15.5%［2］。认知障碍及痴呆使患者在沟通、日常活动中逐渐出现困难，最终丧失自主生活能力，给社会和家庭带来沉重的负担［3］。认知障碍的早发现、早干预对预防甚至阻止痴呆的发生具有重要意义［4］。目前检测认知水平及识别认知障碍的主要测量工具是蒙特利尔认知评估量表（Montreal cognitive assessment，MoCA）［5］和简明智力状态检查量表（mini-mental state examination，MMSE）［6］。人工评定纸质版的认知测评需要专业医师的培训和施测，对于远距离或者频繁、多次施测存在诸多不便，已经有研究者将纸质MoCA测评转换到平板上，开发了电子版MoCA（electronic MoCA，eMoCA）测评［7］，将认知评估的回答记录到电子系统中。但由于电子化评估缺乏交互及评分功能，仍然存在患者自主施测困难，且作答后需要人工判分的问题［8］。为解决以往电子认知测评在交互及评分上的不足，本研究在中国版认知测评量表的电子化基础上引入基于人工智能的交互和自动评分方法。该智能化评估系统通过开发智能语音提示和虚拟人实时互动增加测评交互界面的友好度，并且该系统在评定分数时引入了智能语音识别、评估与判定，实现了全自动的作答判定与智能评分。为检验研发的智能化测评量表评分的效度，本研究将智能量表、人工施测版MoCA与MMSE在临床患者群体中进行施测。施测人群包含不同认知水平、不同受教育程度、不同年龄段等，使得智能化量表检测出的效度具有更强的泛化性。
本研究为横断面研究，选择2023年2至10月在首都医科大学宣武医院门诊入组主诉认知功能下降患者，招募受试者的入选标准包含：（1）患者主诉或知情者报告认知功能下降超过3个月；（2）能够用汉语普通话进行交流；（3）优势手活动不受限，可用笔完成简单图形的绘画；（4）患者既往未服用影响认知功能的药物，或虽已服用可能影响认知功能的药物但剂量、品种不变超过3 个月，且在随访期间无调整药物计划；（5）3 个月内未接受过MoCA或MMSE量表评估。排除标准如下：（1）因明显的神经损害的症状、精神行为异常或其他躯体疾病不能配合完成测评；（2）酗酒或正在服用影响测评时认知功能的药物（抗组胺药、抗精神病药等）；（3）因各种原因没有在14~20 d完成两次认知测评；（4）在两次测评期间认知功能可能有明显变化的受试者，如快速进展性痴呆或处于脑卒中、脑外伤急性期等。最终，本研究纳入分析的受试者数据包含88例。所有受试者在进行试验前均被告知可于任何时间无需任何理由退出试验，并在试验前签署了知情同意书。本研究经过医院伦理委员会批准，批准号为临械审［2022］021号。
1. MoCA：MoCA作为广泛使用的临床测评工具，已经在大规模人群中被验证具有很好的重测信度与内部一致性，且对轻度认知障碍患者具有很强的灵敏度［4］。MoCA总分为30分，其中测量的子认知功能包含言语记忆、视空间能力、执行功能、注意力与工作记忆、命名与言语流畅性和时间空间定向能力，完成大约需要10 min［9］。已有研究者将MoCA翻译成中文纸质版本，并且其检测效度已经在中国不同年龄段［10］、不同认知水平［11］、不同疾病患者［12］等人群中均获得了验证。
2. MMSE：MMSE是一项测量基本认知水平的问卷，已有大量研究同样检验了MMSE测评在筛选认知障碍患者方面的灵敏度与特异度［6］。MMSE包含11个问题（满分为30分），检测认知能力包含定向能力、记忆力与注意力、回忆能力、命名及根据范例书写文字或作图的能力，完成MMSE测评需要5~10 min［13］。已有研究论证了MMSE测评筛选认知障碍患者的能力，在中国不同疾病人群中均显示了较高的灵敏度与特异度［14］。
3. 智能化电子量表（intellectualized MoCA & intellectualized MMSE，i-MoCA & i-MMSE）：本研究采用了北京智精灵科技有限公司研发的智能化量表系统，将目前使用的MoCA和MMSE量表内置到基于平板的软件中，加入人机交互、机器判分的智能化系统，即为i-MoCA/i-MMSE。具体的问卷项目方面，对两个测评量表中一致的题目进行了合并（即时间定向和地点定向题目），其他均与人工施测一致。该软件为人机交互，不需要测评人员与患者进行一对一的交流即可采集患者的数据，并且由系统自动识别并判断答案、获得测评结果。该软件分为“医师端口”和“测评者端口”，具体操作该软件的步骤如下：（1）医师需要在“医师端口”新增测评者，并且输入测评者基本信息（包括姓名、医保号、身份证号、出生年月），并提交到系统，然后测评者可在“测评者端口”进入测评；（2）具体测评中，每个问题均有语音提示，如果用户没有听清楚问题系统可以对问题进行重复或细致的讲解；除作图题外，其余题目测评者可语音回复作答并提交答案；（3）软件内置的智能语音识别算法模型会识别患者的语音内容，确认其答案并判断题目对错；软件内置的图像识别以及文字识别系统同样会判断非语音作答内容的答案以及对错，并计分；（4）所有语音和作答均在后台进行保存，软件内置的人工复核功能可使得医师在临床使用过程中对自动测评结果进行确认，复核时间不超过30 s。主要需要医师就基于机器采集并转化后的答案对整体答题进行快速检阅，并对漏判题目进行修正判断，系统据此自动计算和更新得分。该软件的使用条件：在适宜操作人群方面，该软件需要“医师端口”的操作者参与并通过相关软件培训，可以熟练使用后台进行患者信息录入以及进行作答复核；“测评者端口”中，该软件需要操作者需要：（1）中文阅读与言语作答能力；（2）具体优势手可操作平板的能力。
确定入组的受试者首先需要完成基本信息填写，其中包括年龄、性别、受教育程度、疾病史等。然后，每例受试者都需要完成智能化评估量表（即i-MoCA和i-MMSE）以及人工施测的纸质版MoCA和MMSE测评（间隔时间为2周）。智能化量表需要在研究者的指导下使用平板，纸质版量表将由经过培训的专业测评人员进行评估。为了避免练习效应对结果的影响，两种测评的顺序经过随机化平衡：即一半受试者先进行人工施测后完成智能化量表，另一半受试者则先进行智能化评估后完成人工施测。
本研究将使用一致性相关系数（concordance correlation coefficient，CCC）进行主要评价指标的分析。一致性分析是判定智能量表评测和传统人工施测相比较的可靠性的依据，本研究分别对智能量表机器初评结果和人工复核最终结果进行了分析。CCC的样本量计算基于Lin和Williamson［15］研究者发表的样本量计算方法进行。样本量计算基于以下假设：（1）采用双侧检验，设α=0.05，最低检验效能为90%；（2）设CCC0为0.8，CCC1为0.9；使用PASS 15软件计算，得到所需的最小样本量n=64。为满足最低样本量需求并考虑脱落问题，本研究最终纳入88例患者。
对患者的基本信息进行描述性统计，并对先进行人工施测和先进行智能化施测的患者分组统计其基本信息。对符合正态分布的连续性变量（如年龄、认知得分）采用表示，采用独立样本t检验比较两组间差异，对计数资料（如性别、受教育程度、认知异常与否）采用例（%）表示，采用χ2检验比较组间差异。
为获得两种量表的评分一致性，计算智能化量表以及人工施测得分的皮尔逊相关系数、组内相关系数（intra-class correlation coefficient，ICC）以及CCC［16］。
本研究接着比较了患者采用智能量表评测和传统人工施测的得分差异。同时，为避免重复施测的影响，仅分析第一次测量的患者得分是否具有差异。另外，以往研究表明电子化量表之后平板的使用熟悉程度会主要影响认知测评的得分，其中MoCA中的视觉/执行功能会由于包含作图的项目而主要受到影响［5］。因此，本研究额外比较了视觉-执行子功能在两个量表之间的得分。为比较两种施测方式的差异，依次采用了包含协变量的重复测量方差分析（Repeated-ANCOVA），将施测方式（人工/智能）作为组内变量，将性别、年龄、受教育程度的基本人口学信息作为控制变量。另外，对首次施测的数据进行单变量协方差分析，将施测方式（人工/智能）作为组间变量，将性别、年龄、受教育程度的基本人口学信息作为控制变量。同时使用Bland-Altman分析法，计算两种测评的一致性界限并用图形进行直观描述［17］。
为计算智能化量表的评估准确性，通过使用信号检测论的方法计算智能化量表预测人工施测量表筛查结果的灵敏度、特异度。其中灵敏度的计算方式为，人工施测量表诊断为认知异常的人群中，智能化版本能诊断为异常的比率；特异度的计算方式为，人工施测量表诊断为认知正常的人群中，智能化版本能诊断为正常的比率。进一步分析受试者工作特征（receiver operating characteristic，ROC）曲线及最佳切点的约登指标（Youden Index）［18］。
认知评估量表包含患者各项不同认知维度的得分。对于每个子项评分的一致性分析也是进一步判断智能化量表精确性的指标。本研究继续对智能化版本的MoCA、MMSE的子分进行了和人工施测一致性评估的分析。通过计算皮尔逊相关系数、ICC以及CCC系数比较两种量表在子认知功能评估上的一致性。
入组患者包括男30例，女58例；年龄19~91（66.82±11.37）岁。由传统人工施测的MoCA得分26分为标准、MMSE得分27分为标准，界定正常或认知障碍人群，本研究对象中，MoCA分数异常率（<26分）为63.6%，即56例为MoCA界定的认知障碍；MMSE分数异常率（<27分）为44.0%，即39例为MMSE界定的认知障碍。患者的基本信息描述如表1所示，其中42例先进行人工施测，46例先进行智能化施测，两组患者的性别、受教育程度、认知评估分数差异无统计学意义。
认知功能下降的门诊患者的人口统计学信息及认知得分结果
认知功能下降的门诊患者的人口统计学信息及认知得分结果
| 指标 | 先人工施测（n=42） | 先智能化施测（n=46） | t/χ2值 | P值 |
|---|---|---|---|---|
| 年龄（岁，） | 66.12±9.67 | 67.46±12.80 | -0.56 | 0.580 |
| 性别［例（%）］ | 2.75 | 0.118 | ||
| 男性 | 18（43） | 12（26） | ||
| 女性 | 24（57） | 34（74） | ||
| 受教育程度［例（%）］ | 3.05 | 0.549 | ||
| 小学 | 2（5） | 7（15） | ||
| 中学 | 22（52） | 22（48） | ||
| 高中 | 7（17） | 7（15） | ||
| 大学 | 7（17） | 7（15） | ||
| 研究生以上 | 2（5） | 3（7） | ||
| MoCA得分（分，） | 21.74±6.53 | 21.52±5.00 | 0.17 | 0.861 |
| MMSE得分（分，） | 25.45±5.27 | 25.32±4.02 | 0.13 | 0.900 |
| MoCA检出异常［例（%）］ | 24（57.1） | 32（69.6） | 1.46 | 0.271 |
| MMSE检出异常［例（%）］ | 15（35.7） | 24（52.2） | 2.41 | 0.138 |
| iMoCA得分（分，） | 21.64±7.21 | 19.17±5.61 | 1.78 | 0.079 |
| iMMSE得分（分，） | 24.48±5.65 | 24.13±4.38 | 0.32 | 0.751 |
注：MoCA为蒙特利尔认知评估量表；MMSE为简明智力状态检查量表；iMoCA和iMMSE为智能化电子量表版本
结果发现，如图1A所示，皮尔逊相关分析显示，iMoCA的机器初评与人工施测呈正相关，r=0.85，P<0.001；CCC=0.71；95%CI：0.61~0.78；iMoCA最终人工复核与人工施测呈正相关，r=0.89，P<0.001；CCC=0.87，95%CI：0.81~0.91；ICC=0.91，95%CI：0.86~0.94。如图1B所示，iMMSE的机器初评与人工施测呈正相关，r=0.77，P<0.001；CCC=0.36；95%CI：0.27~0.44；iMMSE最终人工复核与人工施测呈正相关，r=0.86，P<0.001；CCC=0.83；95%CI：0.76~0.89；ICC=0.93，95%CI：0.89~0.95。
注：MoCA为蒙特利尔认知评估量表；MMSE为简明智力状态检查量表；iMoCA和iMMSE为智能化电子量表版本；图中黑色圆点为每例患者在量表中的得分；黑色实线为采用皮尔逊相关系数计算获得的线性关系；黑色虚线及其中的灰色区域为相关性的95%CI
协方差分析结果显示，iMoCA得分［（20.35±6.47）分］和MoCA［（21.63±5.72）分］差异无统计学意义［F（1，84）=0.09，P=0.771］。类似的，iMMSE得分［（24.30±4.97）分］和MMSE［（25.39±4.60）分］差异也无统计学意义［F（1，84）=0.76，P=0.385］。为了进一步可视化差异的一致性范围，本研究采用Bland-Altman分析方法。一致性分析图结果如图2所示，智能化MoCA评测得分和人工施测版本相比较，55%（48/88）的患者所获得得分的差异在2分以内，73%（64/88）的患者得分差异在3分以内。智能化MMSE评测得分和人工施测版本相比较，68%（60/88）的患者所获得得分的差异在2分以内，76%（67/88）的患者得分差异在3分以内。
注：MoCA为蒙特利尔认知评估量表，MMSE为简明智力状态检查量表，iMoCA和iMMSE为智能化电子量表版本；图中横轴为人工施测得分与智能化量表得分的均值；纵轴为智能化量表减去人工施测得分的差异；圆点为每例患者的具体均值及差异；黑色实线代表得分差异为0分；黑色长虚线和短虚线分别代表为得分差异在3分和在2分的区间范围
分析比较第一次测量的患者，其中包括首次施测为人工施测的42例患者；首次施测为智能量表的46例患者。协方差分析结果显示，iMoCA得分［（19.17±5.61）分］和MoCA［（21.74±6.53）分］差异无统计学意义［F（1，83）=2.81，P=0.097］。类似的，iMMSE得分［（24.13±4.38）分］和MMSE［（25.45±5.27）分］差异也无统计学意义［F（1，83）=1.09，P=0.299］。
对于视觉-执行子功能的份的比较结果显示无论是组内比较［F（1，84）=0.01，P=0.921］还是仅针对第一次测量的组间比较［F（1，83）=2.79，P=0.098］，差异均无统计学意义。
在人工施测MoCA界定为异常的56例中，iMoCA界定53例为异常，灵敏度为94.6%，在人工施测MoCA界定为认知正常的32例中，iMoCA界定25例为正常，特异度为78.1%。在人工施测MMSE界定为异常的39例中，iMMSE界定37例为异常，灵敏度为94.9%，在人工施测MMSE界定为认知正常的49例中，iMMSE界定38例为正常，特异度为77.6%。进一步的ROC曲线分析如图3显示，iMoCA的总体诊断准确率为94.3%，最佳切点的约登指数为72.8%；iMMSE量表的准确率为94.9%，最佳切点的约登指数为75.9%。
注：MoCA为蒙特利尔认知评估量表；MMSE为简明智力状态检查量表；iMoCA和iMMSE为智能化电子量表版本；图中曲线为基于智能化量表进行逻辑斯特回归的工作特征分析曲线；红点为最佳切点；AUC为曲线下面积
如表2所示，iMoCA的子项得分的视空间执行功能、注意、言语、抽象、延迟记忆、定向力都与人工施测MoCA子项得分相关性较高（r=0.41~0.79），一致性良好（ICC=0.39~0.88，CCC=0.32~0.78）。同时，iMMSE的子项得分的定向、注意与计算、回忆、语言等与人工施测MMSE子项得分相关性较高（r=0.57~0.80），一致性良好（ICC=0.69~0.89，CCC=0.54~0.79）。
iMoCA、iMMSE子项与人工施测MoCA、MMSE得分的一致性
iMoCA、iMMSE子项与人工施测MoCA、MMSE得分的一致性
| 项目 | 相关性 | 一致性 | |||
|---|---|---|---|---|---|
| r值 | P值 | ICC | CCC | 95%CI | |
| MoCA/iMoCA子项 | |||||
| 视空间 | 0.70 | <0.001 | 0.80 | 0.67 | 0.54~0.77 |
| 命名 | 0.23 | 0.031 | 0.33 | 0.21 | 0.02~0.39 |
| 注意 | 0.66 | <0.001 | 0.74 | 0.60 | 0.46~0.70 |
| 言语 | 0.59 | <0.001 | 0.74 | 0.59 | 0.43~0.71 |
| 抽象 | 0.41 | <0.001 | 0.39 | 0.32 | 0.16~0.46 |
| 延迟记忆 | 0.71 | <0.001 | 0.83 | 0.71 | 0.59~0.80 |
| 定向力 | 0.79 | <0.001 | 0.88 | 0.78 | 0.68~0.85 |
| MMSE/iMMSE子项 | |||||
| 定向 | 0.80 | <0.001 | 0.89 | 0.79 | 0.70~0.86 |
| 注意与计算 | 0.57 | <0.001 | 0.69 | 0.54 | 0.38~0.66 |
| 回忆 | 0.67 | <0.001 | 0.76 | 0.62 | 0.49~0.73 |
| 语言 | 0.60 | <0.001 | 0.74 | 0.59 | 0.44~0.71 |
注：MoCA为蒙特利尔认知评估量表；MMSE为简明智力状态检查量表，iMoCA和iMMSE为智能化电子量表版本；ICC为组内相关系数；CCC为一致性相关系数
iMoCA的施测时间为（8.82±2.45）min，iMMSE的施测时间为（6.69±4.36）min，两者的总施测时间为（15.51±5.96）min。
本研究将MoCA和MMSE认知测评智能化，通过语音提示、语音识别与反馈、自动判分系统对认知功能进行检测与评估得分。在研发智能测评系统后，在临床进行施测，使用组内设计对人工施测和智能化量表进行了直接比较。本研究中i-MoCA和人工施测的MoCA的CCC为0.87，高于以往的电子版本发现的CCC 0.84［7］，说明了智能化系统的使用减少了电子化量表带来的差异。同时iMoCA、i-MMSE与人工施测版本的一致性ICC分别达到了0.91和0.93，和以往研究中MoCA或者MMSE的重测信度在同一水平（ICC为0.90和0.89）［19, 20］，iMoCA子量表的ICC（为0.39~0.88）和以往MoCA子量表的重测信度也在同一水平（ICC为0.34~0.75）［21］，表明智能化量表无论在整体认知功能上还是子功能上均有良好效度。
以往研究显示，年龄和受教育程度本身会影响认知测评的重测差异性以及练习效应［22, 23］，本研究在控制年龄与受教育程度带来的影响之后，发现无论是组内比较还是仅针对第一次评估的比较，两种量表的得分均没有显著差异。未来研究者可以进一步探索可能影响到智能化得分差异的因素。值得注意的是，以往研究显示平板的使用熟练度会在一定程度上影响测评者的得分［7］。主要体现在视觉/执行子功能得分［6］。但在本研究中未发现视觉/执行子功能在两种量表之间的差异有统计学意义，这在一定程度上说明了智能化评分系统对作图的识别能力较好，且智能化系统可能受到平板使用熟练度的影响相对较小。
传统量表的施测局限性在于依靠人工来完成。测评前期需要对医师进行培训，而测评过程也很大程度依赖测评医师的标准化程度。本研究的iMoCA与iMMSE智能系统则通过算法进行这个交互过程，很大程度上规范了施测的过程，同时减少了测评者培训的人力成本。以往也有研究者采用任务范式的方法评估认知功能以此减少测评者的参与［24］。但是任务范式可能无法涵盖较多的子认知功能［25］，也会面临其得分无法与MoCA进行直接比较的问题［26, 27］。而本研究除了直接检验了智能化量表的一致性和差异，也发现智能施测的平均时长（8 min）比以往研究中人工施测时长（即10~30 min［28］）更短，验证了将认知测评进行智能化的临床可行性。在未来，智能化系统可以作为客观、适宜的评估工具来监测认知障碍进程和评估治疗疗效，并与其他智能系统联动，助力认知障碍疾病的干预和管理［29］。
本研究仍然具有一定的局限性：（1）本研究的样本数量以及异质性具有一定的局限，未来研究可以进一步扩大样本量，并且扩大年龄范围等各种因素降低样本的同质性，对结论进行进一步验证。（2）本研究仅记录了整体的智能系统施测时间，而未比较单个条目与人工施测的时间差异，未来研究可以关注智能量表提高效率的具体项目与其原因，据此优化智能系统进一步节约时间成本。（3）目前的评分系统是由系统打分合并人工复核的形式。目前人工复核步骤平均耗时30 s，修正题目数约为总题目数的10%，主要针对语音采集和转化后机器漏判的情况。未来研发中也会持续训练和优化评分算法，直至实现无需人工复核的全智能系统。
总之，本研究探究了智能化认知评估量表与人工施测版本的一致性，通过比较相关性、得分差异范围、评估准确性，论证了智能化评估系统的良好效度。认知评估量表的智能化版本有望作为标准化的、节省人力成本的认知测评工具，在临床门诊及院外场景为认知筛查评估提供便利。
邢怡, 秦琪, 王治斌, 等. 智能化认知量表与人工评估在临床人群中评估一致性的观察[J]. 中华医学杂志, 2024, 104(8): 600-607. DOI: 10.3760/cma.j.cn112137-20231129-01234.
所有作者声明不存在利益冲突
