本研究设计了以核心胜任力为导向的住院医师形成性评价方案，依此评价方案构建了形成性评价信息平台，并详细描述了此信息平台的业务流程设计，如何利用信息技术进行评估数据应用，针对住院医师、指导教师、轮转科室、专业基地及住培管理部门进行相应数据反馈，以推动持续质量改进。同时阐述了形成性评价信息化平台建设的难点、不足之处及未来努力方向。
版权归中华医学会所有。
未经授权，不得转载、摘编本刊文章，不得使用本刊的版式设计。
除非特别声明，本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。
住院医师规范化培训是临床医学人才成长的必经之路。目前我国住院医师规范化培训体系已基本健全，住培工作取得了全面的、开创性的成就[1]。临床医学教育界不断提出培训改进方案，开拓培养高素质住院医师的有效途径。其中，强调重视形成性评价手段，已经成为国内外医学教育改革的重点关注内容[2]。
形成性评价是指在培训过程中，为了及时发现住院医师培训中存在的问题并纠正，以确保培训效果而进行的评价。形成性评价强调“评价最重要的目的不是证明，而是改进”[3]，相较于住培结业考核、年度考核、出科考核等阶段性终结性评价，形成性评价更加关注培训过程。
形成性评价的执行会生成大量数据，为提高管理效率，并运用好评估数据，推动持续质量改进，有必要建设形成性评价信息化平台。随着信息时代的发展，利用信息化手段进行住院医师规范化培训管理是必然趋势[4]。目前，我国国家级住培管理系统已初步建立[5]，在各省/直辖市的住院医师规范化培训管理工作中，面向住院医师规范化培训工作的信息系统得到了普遍应用[6]。在考核评估方面，已有不少医院实现了住院医师日常考核、出科考核或年度考核的信息化管理[5，7, 8, 9, 10, 11, 12]，但多数信息平台的考核管理功能止步于无纸化记录与查询，鲜有成功应用评估数据促进住培持续质量改进的报道。本研究在已有住培信息化管理平台基础上，进一步完善住院医师过程考核管理，设计了住院医师形成性评价信息平台，并探索利用信息化平台进行评估数据汇总、分析及反馈，以推动持续质量改进。
近年来，住院医师培训领域逐渐推行以胜任力为导向的培训及评价系统[13, 14, 15]。中国住院医师培训精英教学医院联盟也于2018年9月发布了中国首个住院医师核心胜任力框架[16]。
因此，复旦大学附属华山医院在住院医师培训期间推行以核心能力为导向的形成性评价，并结合入院时的起始性评估及结业时的终结性评估，形成了一套住院医师规范化培训考核评价体系（表1）。
华山医院住院医师规范化培训考核评价体系
华山医院住院医师规范化培训考核评价体系
| 评估层级 | 评估节点/频率 | 评估名称 | 评估内容及方法 | 备注 | |
|---|---|---|---|---|---|
| 起始性评估 | 招生入院 | 招生考试 | 笔试、面试 | 也称诊断性评估 | |
| 培训过程中的形成性评价 | 每个月 | 综合素质（人文35%） | 指导教师评价学员医德医风、医患沟通、病案管理、人际沟通与团队协作能力 | 每个月一次，多维度评估，强调即时反馈 | |
| 专业理论（理论15%） | 题库考试 | ||||
| 专业技能（技能50%） | 病史书写（10%） | ||||
| 临床专业能力（40%） | Mini-CEX（思维）/DOPS（操作） | ||||
| 学年末 | 年度综合考核 | OSCE（有反馈） | 每年一次，多层次反馈 | ||
| 终结性评估 | 培训结束 | 结业综合考核 | OSCE（无反馈） | 全市统一组织，判定培训结果 | |
在培训期间的形成性评价，包括每月一次的月度评估，以及每年一次的年度考核，紧紧围绕“人文、理论、技能”三大住院医师基本核心能力。学员通过月度考评得到全方位的反馈，及时了解自己哪些方面有进步，哪些方面有待提高。每个学年末有年度综合考核，对整个学年的培训效果作阶段性评估，考核形式为客观结构化临床考试（objective structured clinical examination，OSCE），同上海市结业综合考核，但与结业考核最大的区别是有反馈。
此形成性评价方案评估维度包括人文、理论和技能，评估模式包括综合评价、理论测评以及迷你临床评估演练（mini-clinical evaluation exercise，Mini-CEX）、DOPS等工作场所直接观察技能评估，执行比较复杂，同时也会产生大量评估数据。
为提高考核评估效率及真实性，同时也为应用好数据以助持续质量改进，华山医院设计了与此形成性评价方案相匹配的信息化平台。
形成性评价涉及的平台角色包括住院医师、指导教师、考官、科室（一般由轮转科室教学秘书管理）、专业基地（一般由基地秘书管理）、教学管理部门（由教学部门管理员管理）。根据不同角色给予相应权限。
平台终端包括移动终端（APP端）和电脑终端（web端）两个终端。各类平台角色可根据实际情况直接通过移动终端进行信息查阅。在进行形成性评价直接观察评估时，指导教师可直接在移动终端输入评估得分及反馈内容，甚至对评估场景进行摄录。各类平台角色也可根据需要利用电脑终端查阅详细信息及进行数据汇总统计，并进行数据导出。
首先，根据月度评估方案目标确定评估维度及各维度占比：综合考评（人文综合考评，占35%），专业理论（题库机考，占15%），病史书写（病史质量评分，占10%），临床专业能力（Mini-CEX/DOPS，占40%），并进行评估方案信息维护。
除专业理论是学员参加题库机考，成绩同步至系统外，其余维度由指导教师通过移动终端的指引进行评估并直接录入评估结果。
其中需要特别指出的是，系统在进行临床专业能力评估时，引用了Mini-CEX、DOPS评估工具。指导教师除了必须填写“良好之处”及“改进之处”外，还可以利用移动终端的摄录功能将评估中发现的问题及时拍摄或录像，通过影像反馈进一步提高反馈效果（图1）。
各维度评估结束后，系统自动生成月度评估总成绩（图2）。轮转科室管理员审核后发放成绩，住院医师、指导教师、轮转科室、专业基地、住培管理部门可分别根据各自权限查看相关月度评估成绩、具体评分明细及数据汇总分析，并进行数据导出。
年度评估的模式为OSCE，住培管理部门与专业基地确定好年度考核方案，包括各专业基地考站设立、确定考核项目并维护考核评估表（图3）。方案确定并创建后，按每个考生每个考站2名考官的要求设置匹配考官，然后保存、发布年度考核。
各专业基地按照既定年度考核安排落实各考站考核。考官通过移动终端引导，查看自己的考核安排，选择考生及考核项目，直接在移动终端进行评分，并填写反馈评语，最后确认递交。
系统自动汇总考核成绩后，住院医师、考官、专业基地、住培管理部门可根据各自权限查看相应年度考核成绩、具体评分明细及数据汇总分析，并进行数据导出。
信息化平台记录了住院医师所有形成性评价原始数据，而要将形成性评价对住培持续质量改进的作用最大化，就需要利用信息平台发挥强大的数据汇总分析功能，为住院医师、指导教师、轮转科室、专业基地及管理部门提供有效多维度、多层次的个性化数据反馈。
利用直观的描述工具（如雷达图）记录并展示住院医师每一个维度上的能力水平及个人在整体中所处的位置，还可以记录个人成长曲线，纵向横向了解住院医师个人胜任力发展情况。
除了能查看所带教住院医师个人的考评数据，还能查看所带教的住院医师整体数据与整体学员数据对比，指导医师可以从中发现自己教学中存在的问题并及时调整，同时也可评估个人评分偏倚。
轮转学科可以查看每个轮转住院医师的个人数据、本学科各类考评项目整体数据及不同年级住院医师整体数据。除了能及时发现轮转学员存在的问题，及时反馈纠正，还可以从中了解整个学科的培训质量，及时发现存在的问题，有针对性地调整带教策略。
专业基地可以查看本基地住院医师的个人数据、本基地学员不同考评项目整体数据及不同年级住院医师整体数据；可以从中了解整个基地的培训质量，及时发现存在问题，有针对性地调整培训侧重点；并能及时发现每个住院医师存在的问题，有针对性地进行指导。
管理部门除了能从大数据分析中了解住院医师、指导教师、轮转科室及专业基地的培训质量，有针对性地督促个人或学科及时改进外，还可以从中发现医院整体培训过程及考核评估方案中存在的问题，制定院级层面的持续质量改进方案。
图4为专业基地住院医师在年度考核中整体临床技能考核结果雷达图，可以直观地看出不同专业基地住院医师不同维度临床技能水平高低，提示专业基地及管理部门加强对薄弱临床技能的培训。图5为移动终端考评明细查阅界面示例，可以通过移动终端查看个人考核失分明细及与整体比较，可以直观地查看某项技能考核总体失分情况，看到个人及整体表现哪些地方良好，哪些地方存在问题，就可以进一步有针对性地改进培训方法，或调整培训侧重点。
由于形成性评价，尤其是临床专业技能评估Mini-CEX及DOPS均属于工作场所直接观察评估，如遇合适的场景或病例，指导教师可以随时打开移动终端APP，直接在系统内选择住院医师及相应的考核项目，系统自动生成考核表，指导教师可根据直接观察到的情况直接录入评分及反馈信息。平台省去了大量考前书面准备工作，也无须后续进行烦琐的人工成绩计算，同时确保了数据的准确性，并大大提高了汇总和后续统计分析的效率。其非常实用，可操作性强。
利用移动终端即时完成考评的整个流程，考评的时间、地点、病案信息、项目、评分均被永久记录且不能更改，最大程度保证了形成性评价数据的真实性。
反馈是形成性评价的精髓，形成性评价信息平台强化了反馈。针对住院医师，传统形成性评价的反馈模式完整保留，指导教师在每次评估结束时给予即时、当面的语言反馈，并在移动终端用文字记录。除此之外，平台借助移动终端技术增加了影像反馈，进一步提高了反馈效果。并且由于反馈信息一直保存于平台内，住院医师还可以随时通过移动终端复盘评估过程，进一步提高教学成效。而评估数据的系统化梳理分析，有助住院医师通过横向纵向比对自己的能力水平与成长趋势，进一步强化了反馈。
信息化平台依据医院制定的形成性评价方案，设计并实现了完整的无纸化考评及查询需求。在数据记录与查询基础上，重点发挥信息平台数据处理的优势，除了强化常规形成性评价对住院医师个人胜任力提升的作用，还通过进一步大数据汇总分析，实现针对住院医师、指导教师、轮转科室、专业基地及住培管理部门的多维度分层反馈，以助于有针对性地改进，提高了管理效率，促进了培训工作的持续质量改进。
形成性评价实质是一项精细的培训过程管理，通常比较强调针对住院医师个人的评价与反馈。而要真正提升整体培训质量，不能仅仅注重个人成长，还需要对不同角色与不同管理层级进行不同维度的不断评估与反馈。
利用信息化系统提高工作效率，推进精细化管理，才能为持续改进培训管理工作奠定基础[7]。如何有效利用这些评估考核数据，帮助培训基地提升管理效率，提高培训质量，是现阶段亟待思考与解决的问题。本文作者所在培训基地在这一领域做了粗浅的规划与尝试，初步实现了数据梳理汇总，也有一定的统计结果呈现，但尚有很多数据分析功能未成功实现，数据应用的实际效果也有待进一步证实，数据统计分析应用尚有很大提升空间。
形成性评价本身就是一项复杂、精细的系统工程，涉及评价维度、评估项目繁多，评估频率较高，不同评估模式的评价方法与数据生成模式也各不相同，生成的评估数据量大且繁杂，梳理难度大。并且整个评价体系涉及角色、层级也复杂，不同角色视角、不同维度需要的数据分析模式及呈现方式不同，为高质量实现基于数据分析的持续质量改进增加了难度。此外，信息平台开发技术人员往往对医疗领域及住院医师规范化培训没有深入的了解，对抽象的数据分析需求难以理解，也增加了数据分析功能深入开发的难度。
针对这些难点，可以从以下几方面进行改进。首先，不断完善评价方案，完善不同评估工具在系统内的数据生成模式，便于梳理汇总。其次，针对不同角色对数据分析的需求，厘清数据分析功能开发的主次顺序，筛选出重要的数据分析项目先行设计，并确定相应的数据统计方法及结果呈现方式，便于不同角色直观地查阅。信息平台逐步成熟后，进一步提升数据处理功能，辅助进行指导教师评估质量分析、评估工具信效度分析、评估一致性分析等更深层次的教学质量分析评估，并检验形成性评价方案的实际持续质量改进效果。此外，与信息平台技术人员保持良好的沟通是非常重要的环节，确保对方理解每一项数据分析的目的和意义，充分发挥技术人员的信息技术特长，共同探讨最佳的数据分析方法与呈现模式。
黄虑, 姜昊文, 周颖杰, 等. 住院医师规范化培训形成性评价信息平台建设[J]. 中华医学教育探索杂志, 2023, 22(10): 1547-1552. DOI: 10.3760/cma.j.cn116021-20210612-01460.
所有作者声明无利益冲突
