
建立一套研究型医院学科科技创新评价指标体系,为开展学科科技创新能力评价奠定基础。
采用文献查阅、走访调研法初步构建研究型医院学科科技创新评估的指标体系方案,之后利用德尔菲法进行专家咨询,通过前2轮的咨询确定指标体系,再通过第3轮专家咨询,运用层次分析法确定指标体系权重。
专家积极系数为100%,专家权威程度高,各指标均大于0.75,最终形成了包含5项一级指标,10项二级指标,24项三级指标体系。
本研究基于投入、产出2个维度,构建了研究型医院医学学科科技创新评价指标体系,建立了标准化、规范化的学科科技创新的评估手段和方法,为医院学科科技创新发展提出建议,在政策上成为医学学科管理的有力抓手,为卫生主管部门学科建设整体规划提供理论支撑。
版权归中华医学会所有。
未经授权,不得转载、摘编本刊文章,不得使用本刊的版式设计。
除非特别声明,本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。
医学学科是医院的基本组成单位,学科建设是医院建设和发展的基石,学科建设的状态体现医院的整体实力、学术地位和核心竞争力[1]。医学学科,从组织层面,是一个包含人、财、物等各种要素的团体[2]。一个学科的发展不仅能带动医院内部其他学科的发展,更能带动整个区域内学科的进步。在越来越激烈的医疗卫生竞争中,学科建设逐渐成为主导医院发展的基础和动力[3]。自从我国推进医疗卫生体制改革以来,如何利用有限的卫生资源,为人民群众提供最优质、最高效的卫生服务,成为医院生存和发展所要解决的首要问题[4]。以学科为单位,以学科建设为突破口,推动医院整体的发展逐渐成为所有医院管理者的共识。2020年底,北京市卫生健康委、北京市科学技术委员会等部门联合印发了《北京市关于加强医疗卫生机构研究创新功能的实施方案(2020-2022年)》,再次强调了医疗卫生机构研究创新功能的重要性。要求加强医疗卫生机构研究创新功能,充分发挥和释放医疗机构资源优势和创新活力,加强顶层设计,同时也引导和支持部分市属医院向研究型医院发展[5]。医院要立足于研究型医院科技创新发展,亟需设立一套标准化、规范化的学科科技创新的评估手段和方法,从而能够动态地了解各学科科技创新发展现状及存在问题,找到内在规律,为医院学科科技创新发展提出建议,在政策上成为医学学科管理的有力抓手;为卫生主管部门学科建设整体规划提供理论支撑。
本研究共遴选24名专家作为咨询专家组,涉及医院管理、临床医学、医学科研等相关领域。咨询专家基本情况见表1。

24名咨询专家基本情况
24名咨询专家基本情况
| 专家信息 | 人数(名) | 构成比(%) | 专家信息 | 人数(名) | 构成比(%) |
|---|---|---|---|---|---|
| 年龄(岁) | 职称 | ||||
| 30~39 | 10 | 41.7 | 正高职 | 6 | 25.0 |
| 40~49 | 9 | 37.5 | 副高职 | 12 | 50.0 |
| 50~59 | 5 | 20.8 | 中级及以下 | 6 | 25.0 |
| 性别 | 研究领域 | ||||
| 男 | 9 | 37.5 | 科研管理 | 16 | 66.7 |
| 女 | 15 | 62.5 | 医疗工作 | 3 | 12.5 |
| 学历 | 科研工作 | 5 | 20.8 | ||
| 博士 | 14 | 58.3 | 从事研究领域年限 | ||
| 硕士 | 10 | 41.7 | 6~10年 | 7 | 29.2 |
| 行政职务 | 11~15年 | 8 | 33.3 | ||
| 有 | 12 | 50.0 | 16~20年 | 2 | 8.3 |
| 无 | 12 | 50.0 | 20年以上 | 7 | 29.2 |
采用文献查阅、走访调研法初步构建研究型医院学科科技创新评估的指标体系方案,之后通过德尔菲法进行专家咨询,再利用层次分析法确定指标体系权重。
通过相关学术期刊、书籍、政府文件、政府网站等途径,广泛收集国内医院、科研单位学科科技创新评估的情况,作为制定评估指标体系的依据,完善并细化评估考核框架的各级指标。
对医院主管部门负责人、科室负责人或专家进行调研座谈采访,了解学科科技创新现状、存在的问题,以及医学的学科科技创新评估指标体系、各个主要评估指标和评估指标的权重、学科科技创新发展策略等问题。
德尔菲法又称专家咨询法。经过几次反复征询和反馈,专家组成员的意见逐步趋于集中,最后获得具有较高准确率的集体判断结果[6]。德尔菲法一般采用2~3轮较为适宜,参与咨询的专家以15~50人为宜[7]。德尔菲法的关键在于对专家的遴选[8]。拟选择的咨询专家必须是与研究问题相关,在该研究领域有丰富的经验,且来自相关研究的不同领域。在遴选专家时不能从符合条件的专家中随机选择,而应该是有目标性的选择[9]。基于以上要求,本研究通过2轮的专家咨询确定指标体系,再通过第3轮专家咨询,确定指标体系权重。
对于遴选的专家团队,要进行专家可靠性分析,包括专家积极系数和专家权威程度[10]。专家积极系数即问卷回收率,可反映专家对研究内容的重视程度。专家的权威程度(Cr)取决于2个因素:判断依据(Ca)和熟悉程度(Cs),计算公式Cr=(Ca+Cs)/2。判断依据(Ca)由实践经验、理论分析、国内外同行了解以及直觉组成,判断依据系数为上述4项得分之和,最大值为l,具体量化值见表2。专家的熟悉程度(Cs)分很熟悉、熟悉、较熟悉、一般、较不熟悉、很不熟悉6个等级,分别按0.9、0.7、0.5、0.3、0.1、0分赋值。

判断依据(Ca)的量化表
判断依据(Ca)的量化表
| 判断依据 | 对专家判断的影响程度 | ||
|---|---|---|---|
| 大 | 中 | 小 | |
| 实践经验 | 0.5 | 0.4 | 0.3 |
| 理论分析 | 0.3 | 0.2 | 0.1 |
| 国内外同行的了解 | 0.1 | 0.1 | 0.1 |
| 直觉 | 0.1 | 0.1 | 0.1 |
| 合计 | 1.0 | 0.8 | 0.6 |
层次分析法[11]是美国运筹学家Saaty于20世纪70年代提出,尤其是对于多目标、多方案的决策。第1步构建层次结构模型,本研究依据投入和产出的指标体系构建层次结构模型;第2步是构造判断矩阵,专家根据Saaty提出的1~9及其倒数来判断2个指标间的相对重要程度,来构造判断矩阵;第3步进行一致性检验及求解权重值。本研究借助yaahp层次分析软件进行权重求解与一致性判断,一致性均达到可以接受的程度,最终得出各指标综合权重指数。
本研究前两轮问卷共发放24份,第3轮发放20份,3轮问卷的有效回收率均为100%。
根据专家权威程度Cr计算公式Cr=(Ca+Cs)/2,分别对第1轮专家咨询问卷的5项一级评价指标的权威程度进行计算,结果见表3。对于5项一级指标,Ca在0.8~1.0,说明判断依据对专家的影响程度为中等以上;Cs在0.7~0.9,说明专家对问题的熟悉程度均介于熟悉与很熟悉之间;专家平均Cr均>0.78。指标体系中所有二级指标及三级指标的专家平均权威程度,Cr均>0.75。结果说明本研究专家的权威程度较高,研究结果可靠。

专家权威系数
专家权威系数
| 一级评价指标 | Ca | Cs | Cr |
|---|---|---|---|
| 指标1 | 0.925 0 | 0.816 7 | 0.870 6 |
| 指标2 | 0.912 5 | 0.800 0 | 0.856 3 |
| 指标3 | 0.920 8 | 0.766 7 | 0.843 8 |
| 指标4 | 0.900 0 | 0.800 0 | 0.850 0 |
| 指标5 | 0.858 3 | 0.708 3 | 0.783 3 |
注:Ca为判断依据系数;Cs为熟悉程度系数;Cr为权威程度系数
通过2轮问卷咨询确立指标体系。在第1轮专家咨询之前,已经通过文献查阅、走访调研开展预咨询,初步构建了评价指标草案。第1轮咨询主要是请专家对指标体系草案的各层级指标分别在“同意”和“不同意”2个级别上进行判定,并请专家就是否需要进一步增加、删减或修改的指标提出意见。第2轮专家咨询主要是针对第1轮专家提出的问题和建议修改后的指标体系再次进行询问。同时向专家提供第一轮问卷咨询的统计结果作为参考,最终达成意见统一。经过第2轮修改,最终建立了研究型医院医学学科科技创新评价指标体系。共包含5项一级指标,10项二级指标,24项三级指标。
本轮专家咨询从前2轮的专家咨询组中进一步遴选20名专家,发放20份问卷,回收率100%。运用层次分析法求解各指标权重值见表4。

研究型医院医学学科科技创新评价指标体系权重
研究型医院医学学科科技创新评价指标体系权重
| 维度指标 | 系数 | 指标说明 |
|---|---|---|
| 科研队伍 | ||
| 学科队伍 | ||
| 学历结构 | 0.021 2 | 学科团队中学历结构 |
| 职称结构 | 0.029 1 | 学科团队中职称结构 |
| 中青年人才储备 | 0.044 7 | 学科团队在研项目负责人中,中青年人才所占比例 |
| 高层次人才 | ||
| 学术任职 | 0.072 4 | 重要学会的学术任职情况 |
| 战略人才 | 0.145 1 | 获得省部级及以上人才荣誉的学科带头人和青年骨干专家数量 |
| 科研投入 | ||
| 科研经费 | ||
| 纵向课题科研经费 | 0.049 2 | 学科团队所获纵向科研经费数量 |
| 横向课题科研经费 | 0.020 8 | 学科团队所获横向科研经费数量(包括GCP经费) |
| 院内课题科研经费 | 0.015 3 | 学科团队所获院内科研经费数量 |
| 科研平台 | ||
| 重点实验室及研究中心 | 0.030 7 | 获得省部级及以上重点实验室、医学中心、临床研究中心、工程中心的数量 |
| 重点学科 | 0.025 8 | 获得局级及以上重点学科的数量 |
| 创新团队及群体 | 0.030 2 | 科技部、教育部等组织评选的国家级团队 |
| 院企合作平台 | 0.015 5 | 与企业共建研发平台(实验室) |
| 学术贡献 | ||
| 科技论文和著作 | ||
| 高质量论文 | 0.038 7 | 高创新性、高影响力的科技论文 |
| 学术著作 | 0.018 2 | 发表的学术专著 |
| 科技奖项 | ||
| 高质量科技成果 | 0.077 3 | 省部级及以上科技成果奖励 |
| 标准指南 | ||
| 国家标准 | 0.030 8 | 发布于国家卫生健康委员会且现行有效的国家标准 |
| 卫生行业标准 | 0.017 4 | 发布的卫生行业标准 |
| 国际指南 | 0.033 6 | 发布的国际指标 |
| 国内指南 | 0.015 7 | 发布的国内指标 |
| 临床转化 | ||
| 专利 | ||
| 国内发明专利 | 0.016 6 | 国内发明专利授权量 |
| PCT国际专利 | 0.025 7 | PCT国际专利授权量 |
| 成果转化 | ||
| 合同额 | 0.122 1 | 成果转化的合同额总值 |
| 产业支撑 | ||
| 新药新器械获得上市批件数量 | 0.058 9 | 支持新药、新器械等获得上市批件数量 |
| 创新品种临床试验占比 | 0.045 0 | 新开展创新药物和创新器械临床试验项目总数占临床试验项目总数的比例 |
注:PCT是专利合作条约;GCP是药物临床试验管理规范;JCR是期刊引用报告;高影响力的科技论文包括JCR分区为Q1区的SCI论著、中国科技期刊卓越行动计划入选项目领军期刊和重点期刊论著
本研究通过前期文献查询,阅读了大量的学科建设类的文献,同时广泛收集国内医院、科研单位学科评估指标,形成科技创新指标数据库。在此基础上通过走访调研医院科研管理专家,拟定了用于咨询的德尔菲问卷。利用德尔菲法专家咨询,只要选择的专家的代表性和权威性符合要求,咨询结果就是可信且有效的。本研究选择了24名专家,他们在各自研究领域有着丰富的经验,来自管理、临床、科研等不同研究领域。专家对问题平均熟悉程度介于熟悉与很熟悉之间,专家平均权威程度值>0.78,说明本研究专家的权威性高,研究结果可靠。在运用德尔菲法专家咨询确定了评价指标系数后,最后再利用层次分析法确定各级指标权重系数。层次分析法综合了专家的主观判断,是一种简明的定性与定量分析相结合的系数分析和评价的方法,是一种科学可靠的评价方法。本研究所有层次分析法判断表格一致性比率均<0.1,矩阵具有满意的一致性。因此,从指标构建方法学的角度分析,本研究选择的方法是合理的,其研究结果是可靠的。
当前,各类学科评价、学科排行榜层出不穷,但是有关医院学科科技创新建设评价的理论研究比较有限。其中有代表性的研究包括中国医学科学院2020年提出的“中国卫生与健康科技创新指数”[12],用于反映和监测中国科技创新纵向发展情况,但无法直接用于医院学科评价。医疗卫生行业科技创新评价体系[13]、医院创新能力评价指标体系[14]、研究型医院科技创新能力评价指标体系[15]、市属医院科技创新指数评价体系[16]等研究,是从医院层面评价的角度,探讨创新能力指数;但由于评价对象的区别以及数据获取的限制,与本研究均有较大的区别。本研究是从学科评价的角度,旨在建立一套能够用于学科日常评价、反映学科科技创新水平的指标体系。上述提及的几个研究从评价角度、评价内容上区别于本研究。而且每个研究都是基于自己医院的工作需要考虑,作为肿瘤专科医院,学科特点与综合医院有区别,不便于直接借鉴。因此,本研究有效地补充了学科科技创新评价体系,为学科评价相关研究提供了参考。
教育部2018年底发布的《关于开展清理“唯论文、唯帽子、唯职称、唯学历、唯奖项”专项行动的通知》,明确了关于项目及基地评审、自主科研经费分配、论文奖励、职务职称晋升、评奖评优和人才引进等原则,旨在扭转学科的评价导向,推行代表作评价制度,注重标志性成果的质量、贡献、影响[17]。有专家指出,“破五唯”不是完全抛弃原有的指标,而是改变“一刀切”模式,探索如何真正用好这些指标。随后教育部与科技部联合发文,提出破除论文以SCI至上,规范各类评价工作中SCI论文相关指标的使用,探索建立科学的评价体系,营造良好的创新环境[18]。在相关背景和文件的指导下,本研究评价指标呈现多元化,指标从“投入—产出”角度加以区分,并分别设置权重,从学科的投入、产出角度,全面考量学科的科技创新情况。在学科产出指标方面,纳入学术贡献、临床转化、产业支撑3个一级指标,重视学科成果的转化和应用情况,鼓励学科成果实现转化。
在指标体系构建过程中,尚存在一定局限性:一是研究型医院学科科技创新评价方法及指标的文献,目前还比较有限。虽然广泛搜集了期刊、学位论文、政府文件、机构网站,借鉴了国内医院、科研单位学科科技创新评估情况,也通过专家论证建立了该体系,但后续还有待于实践来进行检验。下一步拟通过医院学科进行实证性研究,期望能够通过进一步的分析,发现学科科技创新工作中存在的问题,以评促建,进一步促进医院学科的自主创新。二是研究过程中,是以课题组所在单位的实际学科情况为基础,根据专家意见建立的相应的指标体系,考虑到管理工作过程中数据的可及性和评估工作的时效性和可比性,更多地纳入了定量指标,便于进行横向和纵向比较,也相对客观。但在学科科技创新建设过程中,可能会发现新的需要关注的问题,需要研究者在实际工作中不断积累有关医学学科科技创新建设的工作经验,并进行不断总结,归纳完善。





















