
对立项申报课题进行分类分析,分析立项课题与未立项课题在评审评分上的差异,了解立项项目的优势所在,分析失败项目中存在的问题,为科教管理部门更好的管理科研项目申报提供建议,进一步指导项目申报者项目申报。
借助科研信息化平台中的立项评审评分系统,收集2013-2014年申报科研项目及初、复审打分表信息。依据评审流程,将申报科研项目分为三类,分别为立项项目、复审失效项目、初审失效项目,对三类项目的初审评分和复审评分进行总分及各维度分值的比较分析。
立项项目和复审失效项目、初审失效项目三者两两比较中,在总分及各维度分值上均较优(P值<0.05),主要体现在立项依据、研究内容、技术路线等指标权重较高的条目中。
当前的科研申报立项流程,可筛选出质量较高的申报课题。立项项目在立项评审的关键性指标中均具备足够优势,借助信息化平台进行立项申报管理,对申报课题进行更为细致的量化分析,提高评审效率,确保评审公平性,进一步指导申报人员进行项目申报。
版权归中华医学会所有。
未经授权,不得转载、摘编本刊文章,不得使用本刊的版式设计。
除非特别声明,本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。
目前,各级医院都加大了对科研课题申报项目的管理力度和经费投入。科研项目立项评估是筛选高质量课题的首要工作,而立项评审指标是科研项目评审中重要的参考标准。在医学科研立项工作中,往往根据评审标准和项目特点,应用同行专家评审的方法对申报课题进行量化打分,这是当前项目立项评审中主要的方法[1,2]。以往研究中,对课题申报存在的各类问题给出了经验性的回答[3],包括课题创新性、立项依据以及研究内容等在评审中较为重要的关键因素[4,5],但是对立项项目结果的量化分析较为少见[6]。在实际评审中,已立项与未立项项目在哪些评分维度上存在较大差异?相关研究较为少见。本研究将通过回顾性数据分析,比较立项项目和未立项项目在评审标准打分表中各维度分值方面的差异,进一步明确立项项目的优势维度及未立项项目存在的不足之处,以期为临床科研人员的课题申报提供指导依据。
上海市浦东新区卫计委科研项目分为4类,包括社区卫生项目、青年科技项目、面上项目和联合攻关项目,每年举行一次项目申报和评审立项工作。2013年,浦东新区卫计委开发了科教兴医信息化管理系统平台,并应用于卫生科技项目申报管理。本研究将借助该平台,收集2013—2014年上海市浦东新区科研项目评审数据,选择评审表维度和条目一致的前三类项目(社区卫生项目、青年科技项目、面上项目)进行评审结果分析,本研究收集共计606个申报项目。
评审流程分为初审阶段和复审阶段。初审阶段指项目申报者通过信息网络平台递交申报项目书,管理人员根据项目的类型和专业进行分组,邀请相关专家进行初审。复审阶段则要求申报人现场幻灯片汇报,并重新上传修改后的项目申报书,专家再对项目标书给维度进行打分。初、复审项目均使用相同的评审表进行打分,科教兴医信息化管理系统将自动生成评分均值和总分。在评分之后,评审专家还将对申报项目进行书面评价,并对打分进行说明。根据评审阶段对申报项目进行归类,分为3类:初审失效项目、复审失效项目、立项项目。其中初审失效项是初审后未进入复审的项目,复审失效项为经过复审后未立项的项目,立项项目是经过复审后最终立项的项目。
《上海市浦东新区立项评审表》的设计是参照《上海市自然科学基金项目评分表》及《国家自然科学基金评价指标体系》,结合基金项目类型,应用德尔菲专家法来确定评审表的各维度条目及其相应的指标权重。评分表包括8个维度条目,依次为立项依据、研究内容、技术路线、考核指标、预期成效、研究支持条件、预初实验、经费预算等。根据不同权重,设定打分分值范围,分为4级评分,优秀、良好、一般、差,每个级别对应相应权重的分值范围,评审专家根据申报项目在各个维度的不同水平,给出相应的分值。
本研究运用SPSS19.0统计软件进行数据分析。项目总分、各维度分值运用描述性统计;采用方差分析方法比较初审阶段中初审失效项目、复审失效项目和立项项目在总分、各维度均值上的差异,两两比较采用LSD法;复审阶段的立项项目及复审失效项目均值比较则选用t检验,偏态资料如"预初实验"则表示为中位数(四分位数),采用秩和检验。
上海市浦东新区3类科研项目申报情况见表1。其中,社区项目共申报111项,立项54项,立项比例为48.65%;青年科技项目共申报107项,立项57项,资助比例53.27%。社区项目与青年科技项目的立项比例较高,可能与政府对该两个项目类别资助力度较大有关。面上项目两年共计申报388项,为三类项目中数量最多的一类,但是其立项比例为39.43%,为三类中最低。该结果可能与面上项目是针对有较强科研实力的申报者和研究者,立项要求较为严格有关。

2013-2014年申报项目一般情况
2013-2014年申报项目一般情况
| 项目类别 | 社区项目 | 青年项目 | 面上项目 | |||
|---|---|---|---|---|---|---|
| 数目 | 构成比(%) | 数目 | 构成比(%) | 数目 | 构成比(%) | |
| 初审失效项 | 26 | 23.42 | 27 | 25.23 | 106 | 27.32 |
| 复审失效项 | 31 | 27.93 | 23 | 21.50 | 129 | 33.25 |
| 立项项目数 | 54 | 48.65 | 57 | 53.27 | 153 | 39.43 |
| 合计 | 111 | 100.00 | 107 | 100.00 | 388 | 100.00 |
2013—2014年,社区项目初审各维度评分均值及各评审阶段均值结果见表2。结果显示,立项项目和复审失效项目间总分不存在统计学差异(P>0.05);复审失效项目与初审失效项目间存在统计学差异(P<0.05);立项项目与初审失效项目间总分均值存在统计学差异(P<0.05)。评审表各维度均值进行比较,结果显示,立项项目与初审失效项比较,技术路线和考核指标两个维度的均值具有统计学差异(P<0.05);复审失效项目与初审失效项目间,8个维度均值均存在统计学差异(P<0.05);立项项目与初审失效项目相比较,除预初实验(P>0.05)外,其余7个维度的均值均存在统计学差异(P<0.05)。

社区项目各维度初审分值的比较
社区项目各维度初审分值的比较
| 打分维度 | 总项目(n=111) | 立项项目(n=54) | 复审失效项目(n=31) | 初审失效项目(n=26) | F值 | P值 |
|---|---|---|---|---|---|---|
| 立项依据 | 11.43±2.04 | 11.86±1.58 | 12.07±1.95** | 9.69±1.96*** | 15.76 | 0.009 |
| 研究内容 | 10.92±1.84 | 11.45±1.62 | 11.56±1.58** | 9.00±1.20*** | 27.16 | <0.001 |
| 技术路线 | 13.65±3.30 | 14.43±2.69* | 15.40±2.74** | 10.19±2.64*** | 28.38 | <0.001 |
| 考核指标 | 7.64±1.38 | 8.14±1.25* | 7.71±1.31** | 6.69±1.26*** | 10.59 | 0.003 |
| 预期成效 | 8.11±1.79 | 8.59±1.66 | 8.63±1.53** | 6.46±1.39*** | 19.08 | <0.001 |
| 支持条件 | 12.41±2.04 | 13.02±1.93 | 12.73±1.75** | 10.85±1.91*** | 12.16 | 0.010 |
| 经费预算 | 6.43±1.22 | 6.68±1.05 | 6.78±1.17** | 5.46±1.06*** | 13.27 | <0.001 |
| 预初实验 | 2.51±0.24 | 2.35±0.35 | 2.68±0.39** | 2.01±0.33 | 8.97 | 0.007 |
| 总分 | 73.15±11.78 | 77.59±10.02 | 77.17±8.76** | 59.31±7.26*** | 40.41 | <0.001 |
*:表示"立项项目"与"复审失效项"两两比较有统计学差异;**:表示"复审失效项"与"初审失效项"两两比较有统计学差异;***:表示"初审失效项"与"立项项目"两两比较有统计学差异
2013—2014年青年项目中,立项项目、复审失效项目及初审失效项目初审评分的比较与社区设项目结果类似。立项项目、复审失效项和初审失效项两两比较结果,总分均存在统计学差异(P<0.05)。各维度条目比较中,立项项目与初审失效项目比较,各个条目均存在统计学差异(P<0.05);立项项目与复审失效项目比较中,存在差异的条目是技术路线(P<0.05),其他评分条目未出现统计学差异(P>0.05);而初审失效项目在与复审失效项评分结果中,除预初实验条目外,其余条目均存在统计学差异(P<0.05)。
面上项目中的立项项目与初审失效项目、复审失效项目两两比较,结果与社区项目和青年项目相同,总分均值上存在统计学差异(P<0.05)。各维度均值比较中,立项项目和复审失效项比较,各评分维度均未出现统计学差异(P>0.05);复审失效项目与初审失效项目评分结果显示,除预初实验条目外(P>0.05),其余条目均存在统计学差异(P<0.05);立项项目与初审失效项比较,各个条目均存在统计学差异(P<0.05)。
初审结束后,初审失效项目被淘汰,剩下复审失效项目及立项项目进行复审。研究结果显示,初审评分结果中,立项项目和复审失效项目差距不大,多数维度条目未出现统计学差异,因此进一步对立项项目和复审失效项复审评分分值进行统计学分析(表3)。

3类项目复审分值比较
3类项目复审分值比较
| 评分维度 | 青年项目 | 面上项目 | 社区卫生 | |||
|---|---|---|---|---|---|---|
| 立项项目(n=57) | 复审失效项(n=23) | 立项项目(n=125) | 复审失效项(n=129) | 立项项目(n=44) | 复审失效项(n=31) | |
| 立项依据 | 11.85±1.03 | 10.40±1.08* | 11.89±1.23 | 11.34±1.48* | 12.14±1.23 | 11.17±1.14* |
| 研究内容 | 11.66±0.82 | 10.51±1.28* | 11.86±1.15 | 11.01±1.36* | 11.68±1.39 | 10.71±1.08* |
| 技术路线 | 14.41±1.54 | 12.22±1.74* | 14.36±1.85 | 13.48±2.25* | 14.36±2.43 | 12.29±1.64* |
| 考核指标 | 7.68±0.72 | 6.87±0.73* | 7.69±0.71 | 7.48±1.03 | 7.82±1.02 | 7.27±0.77* |
| 预期成效 | 8.16±0.96 | 6.92±1.00* | 8.56±1.06 | 8.01±1.32* | 8.75±1.33 | 7.63±1.11* |
| 支持条件 | 12.30±1.01 | 11.52±1.25* | 12.46±1.18 | 11.69±1.36* | 13.02±1.28 | 12.12±1.47* |
| 经费预算 | 6.21±0.64 | 5.87±0.96 | 6.28±0.74 | 6.16±0.82 | 6.64±0.89 | 6.20±0.74* |
| 预初实验 | 4.17(3.75,5.0) | 3.75(2.5,5.0) | 4.7(3.75,5.0) | 4.55(2.55,5.0) | 4.57±0.81 | 4.29±0.92 |
| 总分 | 76.29±5.24 | 67.85±6.23* | 77.14±6.34 | 73.71±9.20* | 76.29±5.24 | 67.85±6.23* |
*表示两者比较与统计学差异,P值小于0.05
结果显示,复审阶段,三类科研项目的立项项目与复审失效项目总分差异存在统计学意义(P<0.05)。在维度比较中,共同存在统计学差异的条目包括:立项依据、研究内容、技术路线等3个维度条目(P<0.05);在预初实验这一维度,3类项目均不存在统计学意义(P>0.05)。
初审失效项是初审阶段第一批被淘汰的科研项目标书。结果显示,初选被淘汰的标书不论是总分还是各维度均值较复审失效项目和立项项目还是有一定差距的。这表明目前科研项目申报水平仍层次不齐,质量分层较为明显,初审失效项目多个条目评分普遍较低,整体课题质量有待提高。其中技术路线、立项依据、研究内容、预期成效及支持条件这五个维度的差距最大,这可能与申报者对立体依据、研究内容、方法与技术路线撰写过于简单,课题设计不合理有直接关系,该研究结果与彭庆有[7]、冯莉[8]等学者的研究结果相一致。导致初审失效项目水平不高的间接原因可能与申报者科研撰写经历不足、医院科室压力、临床工作繁忙,无暇顾及申报等有关。临床也不乏一些对科研非常感兴趣,但是自身能力有限的医护人员,对于这些人应该给予组织支持,申报阶段可分派科研专家对其进行课题设计及撰写方面的指导,帮助申请者提高自身科研能力[9]。
在初审阶段,复审失效项与立项项目出现统计学差异条目较少,整体课题质量与立项项目差距不大。而复审失效项和立项项目在复审评分上开始显示出统计学差异,数据分析结果发现立项项目与复审失效项目间总分还是有一定差距,其中差距较大的4个维度是立项依据(P<0.05)、研究内容(P<0.05)、技术路线(P<0.05)和预期成效(P<0.05),而且在三类项目中显示出一致结果。分析初复审评审两者结果的差异,其原因在于,初审后进入复审项目有二次修改完善的流程安排,申报项目经过再次完善和优化,复审时开始出现分值差距。
初复审不同的量化分析结果对今后项目申报有一定的提示作用,即立项依据、研究内容、技术路线为区分项目标书质量的重要指标,在项目申报时,必须把握这些关键指标。立项依据是申报书的灵魂部分,它反映的是申报者对项目研究相关领域的了解程度和所研究问题的重要程度;研究内容指为达到目标而进行的主要研究工作;技术路线切忌模糊不清,应清晰明确,切中要害,说明该技术可以解决上述的研究内容和技术难题[3,4]。对于申报者来说,更多了解评审要点,把握申报的各个环节要点,在立项的关键要素方面体现出自己的特点,进而使项目在评审竞选中脱颖而出。
本研究中立项项目经过二次评审后,由复审专家评定,评审总分及各指标均值均处于较高水平。数据分析结果显示:一次评审中,立项项目与初审失效项目比较,评审总分及各维度条目均分均较高(P<0.05);二次的评审中,与复审失效项再次进行比较,仍在权重较高的评分维度方面显示出优势,总分和各维度均值高于复审失效项(P<0.05)。初审和复审的评审专家并不相同,两次专家评审结果却呈现一致性,这在一定程度上说明专家评审的客观性和公正性。本研究涉及的科教兴医信息化管理系统需经过两轮专家评审,一方面显示了科研管理的严格,另一方面也体现了科教管理部门对科研和评审工作的负责。





















