科管经验
我国医学科研机构投入产出评价探讨
中华医学科研管理杂志, 2016,29(3) : 239-242. DOI: 10.3760/cma.j.issn.1006-1924.2016.03.022
摘要

为进一步提高医学科研机构投入产出评价的科学性,通过文献研究和专家访谈,对比国外科研机构评价特点,总结我国医学科研机构投入产出评价存在评价方法针对性灵活性不强、产出评价指标单一、评价过程的规范程度有待提高、评价手段信息化程度有待加强、评价结果应用导向存在偏移等不足,建议医学科研机构投入产出评价应强调统一与差异相结合、定性与定量相结合、质量与数量相结合、过程与结果相结合、重点与全面相结合以及信息化手段运用等方面。

引用本文: 陈彦君, 徐天昊, 雷二庆. 我国医学科研机构投入产出评价探讨 [J] . 中华医学科研管理杂志, 2016, 29(3) : 239-242. DOI: 10.3760/cma.j.issn.1006-1924.2016.03.022.
参考文献导出:   Endnote    NoteExpress    RefWorks    NoteFirst    医学文献王
扫  描  看  全  文

正文
作者信息
基金 0  关键词  0
English Abstract
评论
阅读 0  评论  0
相关资源
引用 | 论文 | 视频

版权归中华医学会所有。

未经授权,不得转载、摘编本刊文章,不得使用本刊的版式设计。

除非特别声明,本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。

党的十八大明确提出"科技创新是提高社会生产力和综合国力的战略支撑,必须摆在国家发展全局的核心位置"。随着国家对科研机构的投入不断加大,科学技术对经济发展的促进作用逐渐显现。同时,科研的效率和效益也越来越受到关注。科研投入与产出分析是科研效益最容易量化的方法[1]。近年来,我国医学科研机构推行了科研管理全成本核算、定量评价、绩效管理等方法,促进科研投入产出评价更加科学化、规范化。本文基于科研投产出的特点,在借鉴国外科研机构评估特点基础上,阐述了我国医学科研机构投入产出评价存在的问题和启示。

1 科研机构投入产出评价特点
1.1 投入产出评价的重要性

科研投入产出效率是衡量医学科研活动效果的重要标准,是科研管理的重要内容。构建一套科学合理的科研投入产出评价体系,不但能够科学客观的评价医学科研机构,正确指导科研管理工作,而且能够让科研人员充分认识到科研工作中存在的不足进而调整科研方向与方法。评价结果不公正、不客观会导致激励机制失效,科研人员将失去配合科研投入产出评价的热情。在这种情况下,科研人员对福利的满意度会下降,自然很难有高的热情进行科研工作[2]

1.2 投入产出评价的复杂性

从时间上看,医学科研投入具有长期性,科研产出效益具有滞后性。这要求投入产出评价必须考虑时间跨度。尤其如基础研究,其社会经济影响是长远的,经济效益在短期内难以评价。从机构性质任务看,不仅有基础研究的专职科研机构,还有医学教学机构、疾病预防控制机、临床机构构等兼职科研机构。从学科看,包含基础医学、临床医学、预防医学、康复医学等众多学科[3]。此外,医学科研机构的科研活动具有多样性,产出也具有多样性,包括论文、专利、新药证书、新产品证书等。即便是同一种产出也存在多种层次的质量。例如,发表中文期刊和外文期刊存在差别,发表影响因子高的期刊和低的期刊存在差别。

2 国内外科研机构投入产出评价对比
2.1 我国科研投入产出评价现状

与英国等国不同,我国并没有全国性的科研评价体系。因而,高校和中科院所属研究院所这两类中国最大的科研机构所采用的科研投入产出评价体系,基本上反映了我国科研评价的现状。

我国高校的科研评价体系起步于20世纪70年代,大致经历了行政评价、同行评价、指标量化评价和国际科研计量评价四个阶段。目前,我国高校普遍借鉴国外科研评价经验,采用以科研业绩和科研工作量为核心的高校科研评价体系。该体系评价结果不但是衡量高校科研水平、教师科研能力的重要指标,也是教师职称评审、岗位评聘和福利津贴的主要标准。虽然这一评价体系在一定程度上激发了教师从事科研工作的热情,推动了高校科研的发展,但也暴露了诸多弊端,不仅未完全达到高校科研评价应有的考核、激励和约束的目标,而且引发了诸如学术行为不端等问题。因此,国内众多学者针对新的评价体系和方法进行了系列探索。例如,基于投入产出的关键业绩指标(KPI)科研量化评价,基于平衡计分卡理论的评估指标体系等等。同时,英国高等教育科研评估改革(科研卓越框架,REF)受到了国内高校教育界的广泛关注。

中科院是世界上最大的科研机构之一,其科研评价体系可视为中国科研机构的微缩版评估体系。1990年,中国政府开始评估国家重点实验室。不久之后,中科院也开始评估自己的研究院所,旨在通过评估选拔最优秀的人才,提高科研产出并达到国际水平,促进资源的有效配置,进而将科学的决策纳入研发活动的管理之中。但在实践中,为此目的而开发的工具逐渐显露弊端,最大的问题就是对数量的过分关注,这导致了非常短视的行为以及学术行为不端和科研资金浪费等连锁反应。为了提供更有效的激励,自2011以来,中科院进行了评价体系改革,逐步转向了定性评估,试图把科研机构的研究动机和国家需要结合起来,鼓励真正有价值的重大成果。中科院评价体系的核心是"一三五"规划,一个定位,即每个研究所都要明确一个其核心竞争力所在的研究领域;三个重大突破,即有望在未来5到10年取得的重大突破性成果;五个重点培育方向,即有望成为未来竞争优势的研究方向。目前,中科院评价体系的前景正处于演化之中,仍然有许多问题要处理,如怎么对待不同的科研人员,如何在定性和定量的手段之间寻找平衡等。

2.2 国外科研机构投入产出评价的比较

美国、德国、英国和日本等世界科研强国非常重视科研机构评价,在评估主体、评估方法和内容上存在异同[4,5,6,7](表1)。

点击查看表格
表1

各国科研机构投入产出比较

表1

各国科研机构投入产出比较

序号国别评估主体评估方法评估内容特点
1美国民间团体引文计量法(定量)、经济回报率评估法(定量)、专家评议法、案例分析法、追溯性分析法(半定量)、基准确定法(半定量)科研论著专利、经济回报、科研机构的组织制度和技术等基础性研究以同行评议为主、纯定量较少。多对象、多目标评估,综合多种方法
2德国联邦科学顾问委员会、科研教育资助机构、研究机构和大学引文计量法、专家定性评估法科研计划、科研论著专利、科研合作、科研质量控制、科研成果运用科学评估组织体系比较完整;注重科研全过程评估;不同类别科研机构,侧重不同评估内容
3英国各地高等教育拨款委员会和教育部联合组织综合评价;同行专家评议法研究人员详细情况、研究成果人才培养;政府资助金额等分学科采用不同评估方式;定性定量结合;同行评议
4日本第三方评估机构定量评估法;综合评价法研究机构历年经费和人数、不同专业类别的经费和人数等评价与指导相结合;强调评估的综合性、定量性和针对性;评估具有中立性
5中国政府科研管理机构牵头,抽组科研院所参与实施完成层次分析法;熵权法;同行专家评议科研论著专利、科技创新能力重视分级分类评估;指标繁多;应用"投入-活动-产出"模型
2.2.1 评估主体呈现多样化

国家科研体制机制决定了不同的评估主体。一是非官方民间机构。以美国为代表,由专业协会等学术团体组织实施,重视学术自由独立,强调同行评议。二是官方机构,政府相关管理部门直接主导实施,比如德国联邦科学顾问委员会、英国高等教育拨款委员会和教育部联合组织。三是第三方机构,由政府委托专业评价机构开展规范评估,比如日本。

2.2.2 定性与定量方法相结合

各国针对不同学科特点,灵活运用评估方法,综合开展定性与定量评估。定量方法有引文计量法、经济回报率评估法等;半定量方法有追溯性分析法、基准确定法和层次分析法等;定性方法有专家评议法和案例分析法等。基础性研究以定性方法为主,而多对象、多目标研究的评估则需要综合多种方法。

2.2.3 评估内容选择各有侧重

评价内容基本涵盖人力、经费等投入指标,产出基本包括科研论著专利、经济回报、人才培养等。评估指标的选择注重过程指标,考虑不同学科差异。例如,德国从科研计划、科研论著专利、科研合作、科研质量控制以及科研成果运用等科研全过程对科研机构开展评价。

3 我国医学科研机构投入产出评价存在的问题
3.1 评价方法针对性灵活性不强

目前医学科研机构所进行的投入产出评价,评价方法多为借鉴或引入[8]。一般很少有专门为科研团队量身打造的评价体系,造成了评价的局限性。在选择评价指标的时候,很多科研机构并没有结合自身的特点选择正确的评价指标并建立恰当的评价体系,只是机械地执行评价体系[9,10]。例如,经济效益分析法适合评价对象数量、费用不明确的科研投入产出情况,但不适合用于评价基础研究,无法对学术论文等成果进行有效评价[11]

3.2 产出评价指标单一而不全面

医学科研机构一般不会对不同类型的项目采取不同的评价指标,导致评价有效性和准确性减低[12]。由于评价指标单一,以"论文论英雄"造成科研人员重视论文而忽视科技成果的应用研究,使得很多研究只是停留在纸面上,不解决实际问题[13]。在对科研产出进行评价的时候,一些评价指标只注重产出的数量,而相对忽视产出的质量。引文计量法只考虑论文被引用的次数,而忽略期刊影响因子。经济效益分析法用来评价医学科研机构投入产出的时候,没有考虑科研成果具有滞后性的特点,较为片面。

3.3 评价过程的规范程度有待提高

以政府为主体的评估,临时抽组评估人员,缺乏专业的训练,对评价指标内涵的理解存在偏差。评级制度、标准都是客观统一的,但是评价的主体是人,当中必然存在"人情"因素,会导致评价结果不公正、不客观。又如,DEA方法广泛应用于医学科研投入产出评价,但该方法在很大程度上受评审人员心理因素的影响,存在较大误差[12]

3.4 评价手段信息化程度有待加强

医学科研投入产出评价的复杂性,要求广泛收集数据资料,并对大量数据进行统计分析。但我国相当一部分科研院所对科研产出的评价方法在现阶段尚处于摸索阶段,主要基于行政管理加经验管理的模式,尚未建立信息化管理平台。从数据的采集到数据的处理分析,需要耗费大量的人力和时间,评价成本较高。

3.5 评价结果应用导向存在偏移

科研投入产出评价本质目的是为了激发科研人员的积极性,提高科研经费利用效率。但是,我国医学科研人员福利、晋升等机械地与论著等较易评价的科研产出挂钩,忽略过程或潜在科研效益。结果导致科研单位重论文、轻应用,不解决实际问题;重短、平、快的项目,无法产出大成果。

4 思考

2015年3月下发的《中共中央国务院关于深化体制机制改革加快实施创新驱动发展战略的若干意见》,明确提出构建更加高效的科研体系,改革高等院校和科研院所科研评价制度,为做好我国科研机构投入产出评价提供了依据和规范。医学科研机构需要学习目前国内外相关科研机构评价体系的构建经验,结合自身的实际情况,对评价体系不断改进。同时,要积极总结推广国内民营企业科研机构先进的评价方法和手段。

4.1 强调统一与差异相结合

医学科研机构承担了大量的研究项目[14],专业性强、涉及面广,在进行评价时需要根据不同研究方向采用不同方法。科研机构投入产出评价涉及的对象广泛,需要考虑不同产出的特点,有针对性地制定评价指标。对不同学科、不同形式的科研产出要制订相应的评价体系。在对相同类型科研单位进行评价分析的时候需要充分考虑地区差异性。最终,实现科研投入和产出的分类考核,形成鼓励创新、创造价值的考核机制。

4.2 强调定性与定量相结合

医学科研投入产出的复杂性,决定投入产出评价难以实现完全量化。因此,必须强调定性与定量方法相结合。这在基础研究和软科学研究领域尤为凸显,应重视同行专家评议等定性方法,借鉴美国的案例分析等方法。在选择评价指标时,不仅需要选取定量指标,还需要考虑定性指标[10,15]

4.3 强调过程与结果相结合

2014年,习近平主席在两院院士大会上的讲话中特别强调:"要在全社会积极营造鼓励大胆创新、勇于创新、包容创新的良好氛围,既要重视成功,更要宽容失败"。"宽容失败"要求重视医学科研人员在科研过程中的无形投入和艰辛的尝试过程。尤其是新药的研发过程,一般要10年以上。评价结果应充分考虑科研过程,既是"投入-活动-产出"模型原理的要求,也是对科研创新态度的肯定。

4.4 强调质量与数量相结合

选择评级指标的时候,需要坚持平衡数量和质量的关系。在保证产出质量的基础上再追求产出数量,要明白医学科研产出的价值在于质量。设置医学科研产出权重的时候需要适当加大高质量产出的权重。鼓励科研人员主动争取主持高难度大项目,按照项目人员参与度设置不同的权重系数,促进科研工作积极向前发展。论文方面的评价指标可以按照论文类别和影响因子设置不同的权重系数[16,17]

4.5 强调重点与全面相结合

我国医学科研机构在评价指标设计时,指标数量通常较多,少则20-30个,多则80-90个。相比之下,国外一般在6-8个左右[3]。评价指标选择比较系统全面,但是为凸显核心指标的作用和指标体系的可操作性,应该强调重点与全面相结合。此外,人才培养也是科研工作的重要任务,科研产出不仅包含了论文、专利等,也涉及人才培养,应该纳入科研产出评价指标。

4.6 强调信息化手段运用

做好数据收集工作,建立专门的医学科研管理数据统计系统,既可以保证在统计评价指标时不重复、遗漏统计[18],又可以节约评价的成本。同时,应探索运用互联网手段。2013年,为打破传统同行评议的局限,实现学术共同体评价学术论文的效果,PubMed创建了PubMed Commons论坛,实名会员可在线评论PubMed收录的出版物[19]

参考文献
[1]
浦金辉周民伟扈长茂.军队医院科研投入-产出分析[J].解放军医院管理杂志200411(1).DOI:10.3969/j.issn.1008-9985.
[2]
赵洋新疆某三甲医院科研投入-产出评价指标体系建立的研究[D].乌鲁木齐新疆医科大学2012.
[3]
易凌宗维涛李丽娟国内外医学科研机构能力评估研究现状综述[J].中华医学图书情报杂志201524(5):15-17.DOI:10.3969/j.issn.1671-3982.
[4]
杨默函姚卫浩李君科研实验室评估方法及指标体系对比[J].中国高校科技2013(12) : 52-55.
[5]
赵敏英国高校2001年科研水平评估及其对我们的启示[J].南京理工大学学报:社会科学版200316(2) : 78-88.
[6]
陈乐生德国科学评估经验及其对中国科技评估实践的启示[J].科研管理200829(4) : 185-189.
[7]
Nomura,Hiroyasu.Evaluation of Japanese Universities Research Activity Based on the Number of Awards of Grants-in-aid for Scientific Research-003 Fiscal Year-III.Biosciences.NII Technical Reports[EB / OL].[2015-08-17].http: / / www.nii.ac.jp /TechReports /03-007J.pdf.
[8]
胡晓珉张俊雄徐文国.科研绩效评价问题探讨[J].中国高校科技2011 (6): 15-16.
[9]
王晓辉.改革完善高校科研绩效考评体系的思考[J].学园:教育科研2011 (15): 14-15.
[10]
李哲李超姚站馨.军事医学科研机构绩效考核指标体系的构建与应用[J].解放军预防医学杂志201533(3):354-356.DOI:10.3969/j.issn.1001-5248.
[11]
何传启马诚.科研单位科学活动的投入产出模型——效益管理[J].科研管理1990(1): 33.
[12]
曹橙我国县级以上中医药科研机构科研投入产出研究[D].北京北京中医药大学2009.
[13]
刘雅娟王岩.用文献计量学评价基础研究的几项指标探讨——论文,引文和期刊影响因子[J].科研管理200021(1): 93-98.
[14]
袁海霞万辉王小乐.科研绩效评价指标体系的初步探讨[J].海军医学杂志2008, 28(2): 157-159.DOI:10.3969/j.issn.1009-0754.
[15]
李洋高校科研经费绩效评价指标体系设计[J].中国集体经济2010(12): 172-173.DOI:10.3969/j.issn.1008-1283.
[16]
黄艳玲医疗卫生行业科技创新评价体系的构建[J].中华医学图书情报杂志201322(9) : 16-19.DOI:10.3969/j.issn.1671-3982.
[17]
程英升张天晔何梦乔综合性医院研究机构评估体系研究[J].中华医学科研管理杂志200619(3) : 140-143.DOI:10.3760/cma.j.issn.1006-1924.
[18]
谢作渺姜彦福林强.我国科研体制评价体系的建立与评价[J].科学学与科学技术管理2003, 24(5): 11-14.DOI:10.3969/j.issn.1002-0241.
[19]
陈莹同行评议的革命—PubMedCommons[J].中华医学图书情报杂志201423(9) : 78-80.DOI:10.3969/j.issn.1671-3982.
 
 
展开/关闭提纲
查看图表详情
回到顶部
放大字体
缩小字体
标签
关键词