研究型医院专栏
研究型医院学科科技创新评价指标体系的初步构建
中国研究型医院, 2022,09(6) : 31-36. DOI: 10.19450/j.cnki.jcrh.2022.06.005
摘要
目的

建立一套研究型医院学科科技创新评价指标体系,为开展学科科技创新能力评价奠定基础。

方法

采用文献查阅、走访调研法初步构建研究型医院学科科技创新评估的指标体系方案,之后利用德尔菲法进行专家咨询,通过前2轮的咨询确定指标体系,再通过第3轮专家咨询,运用层次分析法确定指标体系权重。

结果

专家积极系数为100%,专家权威程度高,各指标均大于0.75,最终形成了包含5项一级指标,10项二级指标,24项三级指标体系。

结论

本研究基于投入、产出2个维度,构建了研究型医院医学学科科技创新评价指标体系,建立了标准化、规范化的学科科技创新的评估手段和方法,为医院学科科技创新发展提出建议,在政策上成为医学学科管理的有力抓手,为卫生主管部门学科建设整体规划提供理论支撑。

引用本文: 陶庆梅, 于新颖. 研究型医院学科科技创新评价指标体系的初步构建 [J] . 中国研究型医院, 2022, 09(6) : 31-36. DOI: 10.19450/j.cnki.jcrh.2022.06.005.
参考文献导出:   Endnote    NoteExpress    RefWorks    NoteFirst    医学文献王
扫  描  看  全  文

正文
作者信息
基金 0  关键词  0
English Abstract
评论
阅读 0  评论  0
相关资源
引用 | 论文 | 视频

版权归中华医学会所有。

未经授权,不得转载、摘编本刊文章,不得使用本刊的版式设计。

除非特别声明,本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。

医学学科是医院的基本组成单位,学科建设是医院建设和发展的基石,学科建设的状态体现医院的整体实力、学术地位和核心竞争力1。医学学科,从组织层面,是一个包含人、财、物等各种要素的团体2。一个学科的发展不仅能带动医院内部其他学科的发展,更能带动整个区域内学科的进步。在越来越激烈的医疗卫生竞争中,学科建设逐渐成为主导医院发展的基础和动力3。自从我国推进医疗卫生体制改革以来,如何利用有限的卫生资源,为人民群众提供最优质、最高效的卫生服务,成为医院生存和发展所要解决的首要问题4。以学科为单位,以学科建设为突破口,推动医院整体的发展逐渐成为所有医院管理者的共识。2020年底,北京市卫生健康委、北京市科学技术委员会等部门联合印发了《北京市关于加强医疗卫生机构研究创新功能的实施方案(2020-2022年)》,再次强调了医疗卫生机构研究创新功能的重要性。要求加强医疗卫生机构研究创新功能,充分发挥和释放医疗机构资源优势和创新活力,加强顶层设计,同时也引导和支持部分市属医院向研究型医院发展5。医院要立足于研究型医院科技创新发展,亟需设立一套标准化、规范化的学科科技创新的评估手段和方法,从而能够动态地了解各学科科技创新发展现状及存在问题,找到内在规律,为医院学科科技创新发展提出建议,在政策上成为医学学科管理的有力抓手;为卫生主管部门学科建设整体规划提供理论支撑。

资料与方法
一、研究资料

本研究共遴选24名专家作为咨询专家组,涉及医院管理、临床医学、医学科研等相关领域。咨询专家基本情况见表1

点击查看表格
表1

24名咨询专家基本情况

表1

24名咨询专家基本情况

专家信息人数(名)构成比(%)专家信息人数(名)构成比(%)
年龄(岁)职称
30~391041.7正高职625.0
40~49937.5副高职1250.0
50~59520.8中级及以下625.0
性别研究领域
937.5科研管理1666.7
1562.5医疗工作312.5
学历科研工作520.8
博士1458.3从事研究领域年限
硕士1041.76~10年729.2
行政职务11~15年833.3
1250.016~20年28.3
1250.020年以上729.2
二、研究方法

采用文献查阅、走访调研法初步构建研究型医院学科科技创新评估的指标体系方案,之后通过德尔菲法进行专家咨询,再利用层次分析法确定指标体系权重。

(一)文献查阅法

通过相关学术期刊、书籍、政府文件、政府网站等途径,广泛收集国内医院、科研单位学科科技创新评估的情况,作为制定评估指标体系的依据,完善并细化评估考核框架的各级指标。

(二)走访调研法

对医院主管部门负责人、科室负责人或专家进行调研座谈采访,了解学科科技创新现状、存在的问题,以及医学的学科科技创新评估指标体系、各个主要评估指标和评估指标的权重、学科科技创新发展策略等问题。

(三)德尔菲法

德尔菲法又称专家咨询法。经过几次反复征询和反馈,专家组成员的意见逐步趋于集中,最后获得具有较高准确率的集体判断结果6。德尔菲法一般采用2~3轮较为适宜,参与咨询的专家以15~50人为宜7。德尔菲法的关键在于对专家的遴选8。拟选择的咨询专家必须是与研究问题相关,在该研究领域有丰富的经验,且来自相关研究的不同领域。在遴选专家时不能从符合条件的专家中随机选择,而应该是有目标性的选择9。基于以上要求,本研究通过2轮的专家咨询确定指标体系,再通过第3轮专家咨询,确定指标体系权重。

对于遴选的专家团队,要进行专家可靠性分析,包括专家积极系数和专家权威程度10。专家积极系数即问卷回收率,可反映专家对研究内容的重视程度。专家的权威程度(Cr)取决于2个因素:判断依据(Ca)和熟悉程度(Cs),计算公式Cr=(Ca+Cs)/2。判断依据(Ca)由实践经验、理论分析、国内外同行了解以及直觉组成,判断依据系数为上述4项得分之和,最大值为l,具体量化值见表2。专家的熟悉程度(Cs)分很熟悉、熟悉、较熟悉、一般、较不熟悉、很不熟悉6个等级,分别按0.9、0.7、0.5、0.3、0.1、0分赋值。

点击查看表格
表2

判断依据(Ca)的量化表

表2

判断依据(Ca)的量化表

判断依据对专家判断的影响程度
实践经验0.50.40.3
理论分析0.30.20.1
国内外同行的了解0.10.10.1
直觉0.10.10.1
合计1.00.80.6
(四)层次分析法

层次分析法11是美国运筹学家Saaty于20世纪70年代提出,尤其是对于多目标、多方案的决策。第1步构建层次结构模型,本研究依据投入和产出的指标体系构建层次结构模型;第2步是构造判断矩阵,专家根据Saaty提出的1~9及其倒数来判断2个指标间的相对重要程度,来构造判断矩阵;第3步进行一致性检验及求解权重值。本研究借助yaahp层次分析软件进行权重求解与一致性判断,一致性均达到可以接受的程度,最终得出各指标综合权重指数。

结果
一、专家可靠性分析
(一)专家积极系数

本研究前两轮问卷共发放24份,第3轮发放20份,3轮问卷的有效回收率均为100%。

(二)专家权威程度

根据专家权威程度Cr计算公式Cr=(Ca+Cs)/2,分别对第1轮专家咨询问卷的5项一级评价指标的权威程度进行计算,结果见表3。对于5项一级指标,Ca在0.8~1.0,说明判断依据对专家的影响程度为中等以上;Cs在0.7~0.9,说明专家对问题的熟悉程度均介于熟悉与很熟悉之间;专家平均Cr均>0.78。指标体系中所有二级指标及三级指标的专家平均权威程度,Cr均>0.75。结果说明本研究专家的权威程度较高,研究结果可靠。

点击查看表格
表3

专家权威系数

表3

专家权威系数

一级评价指标CaCsCr
指标10.925 00.816 70.870 6
指标20.912 50.800 00.856 3
指标30.920 80.766 70.843 8
指标40.900 00.800 00.850 0
指标50.858 30.708 30.783 3

注:Ca为判断依据系数;Cs为熟悉程度系数;Cr为权威程度系数

二、基于德尔菲法初步构建指标体系

通过2轮问卷咨询确立指标体系。在第1轮专家咨询之前,已经通过文献查阅、走访调研开展预咨询,初步构建了评价指标草案。第1轮咨询主要是请专家对指标体系草案的各层级指标分别在“同意”和“不同意”2个级别上进行判定,并请专家就是否需要进一步增加、删减或修改的指标提出意见。第2轮专家咨询主要是针对第1轮专家提出的问题和建议修改后的指标体系再次进行询问。同时向专家提供第一轮问卷咨询的统计结果作为参考,最终达成意见统一。经过第2轮修改,最终建立了研究型医院医学学科科技创新评价指标体系。共包含5项一级指标,10项二级指标,24项三级指标。

三、指标体系权重的确定

本轮专家咨询从前2轮的专家咨询组中进一步遴选20名专家,发放20份问卷,回收率100%。运用层次分析法求解各指标权重值见表4

点击查看表格
表4

研究型医院医学学科科技创新评价指标体系权重

表4

研究型医院医学学科科技创新评价指标体系权重

维度指标系数指标说明
科研队伍
学科队伍
学历结构0.021 2学科团队中学历结构
职称结构0.029 1学科团队中职称结构
中青年人才储备0.044 7学科团队在研项目负责人中,中青年人才所占比例
高层次人才
学术任职0.072 4重要学会的学术任职情况
战略人才0.145 1获得省部级及以上人才荣誉的学科带头人和青年骨干专家数量
科研投入
科研经费
纵向课题科研经费0.049 2学科团队所获纵向科研经费数量
横向课题科研经费0.020 8学科团队所获横向科研经费数量(包括GCP经费)
院内课题科研经费0.015 3学科团队所获院内科研经费数量
科研平台
重点实验室及研究中心0.030 7获得省部级及以上重点实验室、医学中心、临床研究中心、工程中心的数量
重点学科0.025 8获得局级及以上重点学科的数量
创新团队及群体0.030 2科技部、教育部等组织评选的国家级团队
院企合作平台0.015 5与企业共建研发平台(实验室)
学术贡献
科技论文和著作
高质量论文0.038 7高创新性、高影响力的科技论文
学术著作0.018 2发表的学术专著
科技奖项
高质量科技成果0.077 3省部级及以上科技成果奖励
标准指南
国家标准0.030 8发布于国家卫生健康委员会且现行有效的国家标准
卫生行业标准0.017 4发布的卫生行业标准
国际指南0.033 6发布的国际指标
国内指南0.015 7发布的国内指标
临床转化
专利
国内发明专利0.016 6国内发明专利授权量
PCT国际专利0.025 7PCT国际专利授权量
成果转化
合同额0.122 1成果转化的合同额总值
产业支撑
新药新器械获得上市批件数量0.058 9支持新药、新器械等获得上市批件数量
创新品种临床试验占比0.045 0新开展创新药物和创新器械临床试验项目总数占临床试验项目总数的比例

注:PCT是专利合作条约;GCP是药物临床试验管理规范;JCR是期刊引用报告;高影响力的科技论文包括JCR分区为Q1区的SCI论著、中国科技期刊卓越行动计划入选项目领军期刊和重点期刊论著

讨论
一、建立的评价指标体系结果可靠

本研究通过前期文献查询,阅读了大量的学科建设类的文献,同时广泛收集国内医院、科研单位学科评估指标,形成科技创新指标数据库。在此基础上通过走访调研医院科研管理专家,拟定了用于咨询的德尔菲问卷。利用德尔菲法专家咨询,只要选择的专家的代表性和权威性符合要求,咨询结果就是可信且有效的。本研究选择了24名专家,他们在各自研究领域有着丰富的经验,来自管理、临床、科研等不同研究领域。专家对问题平均熟悉程度介于熟悉与很熟悉之间,专家平均权威程度值>0.78,说明本研究专家的权威性高,研究结果可靠。在运用德尔菲法专家咨询确定了评价指标系数后,最后再利用层次分析法确定各级指标权重系数。层次分析法综合了专家的主观判断,是一种简明的定性与定量分析相结合的系数分析和评价的方法,是一种科学可靠的评价方法。本研究所有层次分析法判断表格一致性比率均<0.1,矩阵具有满意的一致性。因此,从指标构建方法学的角度分析,本研究选择的方法是合理的,其研究结果是可靠的。

二、有效补充学科评价体系

当前,各类学科评价、学科排行榜层出不穷,但是有关医院学科科技创新建设评价的理论研究比较有限。其中有代表性的研究包括中国医学科学院2020年提出的“中国卫生与健康科技创新指数”12,用于反映和监测中国科技创新纵向发展情况,但无法直接用于医院学科评价。医疗卫生行业科技创新评价体系13、医院创新能力评价指标体系14、研究型医院科技创新能力评价指标体系15、市属医院科技创新指数评价体系16等研究,是从医院层面评价的角度,探讨创新能力指数;但由于评价对象的区别以及数据获取的限制,与本研究均有较大的区别。本研究是从学科评价的角度,旨在建立一套能够用于学科日常评价、反映学科科技创新水平的指标体系。上述提及的几个研究从评价角度、评价内容上区别于本研究。而且每个研究都是基于自己医院的工作需要考虑,作为肿瘤专科医院,学科特点与综合医院有区别,不便于直接借鉴。因此,本研究有效地补充了学科科技创新评价体系,为学科评价相关研究提供了参考。

三、评价指标多元化

教育部2018年底发布的《关于开展清理“唯论文、唯帽子、唯职称、唯学历、唯奖项”专项行动的通知》,明确了关于项目及基地评审、自主科研经费分配、论文奖励、职务职称晋升、评奖评优和人才引进等原则,旨在扭转学科的评价导向,推行代表作评价制度,注重标志性成果的质量、贡献、影响17。有专家指出,“破五唯”不是完全抛弃原有的指标,而是改变“一刀切”模式,探索如何真正用好这些指标。随后教育部与科技部联合发文,提出破除论文以SCI至上,规范各类评价工作中SCI论文相关指标的使用,探索建立科学的评价体系,营造良好的创新环境18。在相关背景和文件的指导下,本研究评价指标呈现多元化,指标从“投入—产出”角度加以区分,并分别设置权重,从学科的投入、产出角度,全面考量学科的科技创新情况。在学科产出指标方面,纳入学术贡献、临床转化、产业支撑3个一级指标,重视学科成果的转化和应用情况,鼓励学科成果实现转化。

四、指标体系构建过程中的局限性

在指标体系构建过程中,尚存在一定局限性:一是研究型医院学科科技创新评价方法及指标的文献,目前还比较有限。虽然广泛搜集了期刊、学位论文、政府文件、机构网站,借鉴了国内医院、科研单位学科科技创新评估情况,也通过专家论证建立了该体系,但后续还有待于实践来进行检验。下一步拟通过医院学科进行实证性研究,期望能够通过进一步的分析,发现学科科技创新工作中存在的问题,以评促建,进一步促进医院学科的自主创新。二是研究过程中,是以课题组所在单位的实际学科情况为基础,根据专家意见建立的相应的指标体系,考虑到管理工作过程中数据的可及性和评估工作的时效性和可比性,更多地纳入了定量指标,便于进行横向和纵向比较,也相对客观。但在学科科技创新建设过程中,可能会发现新的需要关注的问题,需要研究者在实际工作中不断积累有关医学学科科技创新建设的工作经验,并进行不断总结,归纳完善。

参 考 文 献
[1]
闫雪冬, 张焕萍. 以学科内容为导向的医院学科建设科研管理策略与成效研究——以北京大学肿瘤医院为例[J]. 中华医学科研管理杂志, 2016, 29(6): 463-466.
[2]
李明月. 河北省医学重点学科评估指标体系构建的研究[D].唐山: 河北联合大学, 2015.
[3]
王国华, 龙开超, 王继华, . 新形势下医院学科建设的发展思路与策略[J]. 中国医院管理, 2013, 33(6): 62-63.
[4]
吴倩文, 卢建华, 吴建国. 加强医学重点学科建设的意义和方法[J]. 中国卫生事业管理, 2007, 23(12): 811-813.
[5]
北京市卫生健康委员会等部门. 北京市关于加强医疗卫生机构研究创新功能的实施方案(2020-2022年)[EB/OL]. [2022-05-09]. http://wjw.beijing.gov.cn/zwgk_20040/fgwj/wjwfw/202012/t20201230_2189991.html.
[6]
StarfieldBarbara. Health Service Research: a working Model[J]. The New England Journal of Medicine, 1973, 19(4): 132-135.
[7]
孙振球, 徐勇勇. 医学统计学[M]. 北京: 人民卫生出版社, 2002, 125.
[8]
BrownB. Delphi process:a methodology used for the elicitation of opinions of experts[M]. Santa Monica: The Rand Corporation, 2003:3925.
[9]
LevingArnold. A model for health projections using knowledgeable information[J]. World Health Statistics Quart, 1984, 37:310.
[10]
罗克品. 军队综合医院康复医学科建设模式的探索研究[D]. 广州: 南方医科大学, 2016.
[11]
王春花. 基于投入产出理论的河北高校重点学科建设绩效评价研究——以H大学为例[D]. 保定: 河北大学, 2015.
[12]
钟华, 范少萍, 李勇, . 中国卫生与健康科技创新指数构建与评价研究[J]. 中华医学科研管理杂志, 2020, 33(4): 241-248.
[13]
黄艳玲. 医疗卫生行业科技创新评价体系的构建[J]. 中华医学图书情报杂志, 2013, 22(9): 16-19,61.
[14]
陈利娜, 张丽华. 医院创新能力评价指标体系构建研究[J]. 中国卫生质量管理, 2017, 24(2): 117-120.
[15]
王川, 孙涛. 构建研究型医院科技创新能力评价指标体系[J]. 中国卫生质量管理, 2019, 26(3): 130-133.
[16]
潘军华, 景新颖, 李晓峰,. 北京市属医院科技创新指数评价体系的初步构建[J]. 中华医学科研管理杂志, 2021, 34(4): 252-256.
[17]
教育部. 关于开展清理"唯论文、唯帽子、唯职称、唯学历、唯奖项"专项行动的通知[EB/OL]. [2022-05-09]. http://www.moe.gov.cn/srcsite/A16/s7062/201811/t20181113_354444.html.
[18]
科技部. 关于破除科技评价中"唯论文"不良导向的若干措施(试行)的通知[EB/OL]. [2022-05-09]. http://www.most.gov.cn/xxgk/xinxifenlei/fdzdgknr/fgzc/gfxwj/gfxwj2020/202002/t20200223_151781.html.
 
 
展开/关闭提纲
查看图表详情
回到顶部
放大字体
缩小字体
标签
关键词