
对我国"克罗恩病"相关互联网医学科普信息质量进行评估,并初步分析其可读性。
使用我国常用互联网搜索引擎,检索并筛选克罗恩病相关中文医学科普信息。两位专科医师使用DISCERN体系对纳入信息的质量进行评估,并对两人各部分评分进行一致性分析。利用已出版或正式发表的各阶段语文材料,通过建立中文可读性分级模型,分析纳入科普信息的可读性难易程度。
共有13个网页信息被纳入最终研究,其均来自于商业性机构性网站,作者为公立医院医生的信息共7个(53.8%)。两位专科医师使用DISCERN体系评估的第1部分、第2部分和所有评分的Spearman系数分别为0.685、0.556和0.607(P值均<0.001)。大多数科普信息未提供足够的信息来源、依据和利益冲突等出版物最常规的基本要素,相应DISCERN评分分别为1.8、1.7和1.3分。治疗信息评估方面,多数存在多方面的信息缺失和内容错误,所有相关7个要点均分均未超过2.0分。中文可读性分级方面,分级高于义务教育水平信息共计11个(84.6%),其中大专及以上水平信息共计9个(69.2%)。
我国克罗恩病相关互联网医学优质科普信息数量少,同时可读性难度大,亟待引起学界重视和完善。
版权归中华医学会所有。
未经授权,不得转载、摘编本刊文章,不得使用本刊的版式设计。
除非特别声明,本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。
互联网已逐渐成为现今社会快速并全面获取多种信息的重要来源。人们会依靠互联网获取自己所需要的相关信息,健康问题就是其中极其重要的一部分。约有61%的美国人群会通过互联网进行健康问题的检索;在欧洲人群中,这一比例也高达52%[1,2]。我国目前尚无官方统计结果,但有调查显示网民总数和互联网普及率呈逐年上升趋势,2016年底网民总数已达7.31亿人,多个省市互联网普及率已达到60%以上[3]。许多慢性疾病由于病程长、致残性高等特点,需要通过教育来提高患者的依从性。患者教育所涉及的医学信息内容繁多,而平常医患间的交流时间有限,多数患者会选择互联网获取信息[4]。克罗恩病正属于这类慢性疾病,该类疾病在我国的发病率呈上升趋势,但相关的正确且全面的患者教育或科普信息仍极其匮乏[5]。互联网医学科普信息内容质量以及可读性对引导患者规范就诊、增强医患有效沟通、改善疾病相关生活质量以及减少不必要的医患纠纷等方面均有着重要价值。本研究旨在分析我国克罗恩病相关互联网医学科普信息情况,首次运用DISCERN体系评估中文互联网医学科普信息质量,并建立首个中文医学科普信息可读性初析模型。
根据我国网民使用搜索引擎偏好统计结果,选择我国目前使用率前两位的搜索引擎百度(www.baidu.com)和搜狗(www.sogou.com)作为检索工具,其市场占有率分别为68.1%和14.2%(合计82.3%,2017年12月15日统计结果)[6]。2017年12月15日上午8时在两个引擎中分别检索"克罗恩病",百度共计2 810 000条相关结果,搜狗为90 327条,百度每页显示10条,搜狗则为每页14条。按照网民阅读习惯统计[7],选取百度前3页共30条结果,搜狗前2页共28条结果,合计58条结果作为初步样本库。
详细阅读初步样本库中58条结果,进一步制定最终纳入标准:免费阅读且能便捷登入的网站。最终排除标准包括(1)内容基本重复的结果;(2)论坛讨论;(3)新闻报道;(4)临床试验;(5)医学教材或学术论文(节选);(6)字数过少(<500字);(7)广告;(8)非文字信息。对最终纳入的结果进行文字提取,并在网站"关于我们"一栏中获取网站建设者属性,通过阅读网页内容中获取作者属性、内容创建时间、最近一次更新时间、利益冲突和内容可靠性证据等基本情况。其中网站建设者属性包括学术协会、大学医学院或附属医院、公立医院医生个人、非公立医院医生个人、患者团体或个人或商业性机构。而作者属性则包括公立医院医生个人、非公立医院医生个人、患者或其他。
由两位克罗恩病专科医生参与并分别独立完成评估,使用1999年由英国牛津大学健康科学研究所提出DISCERN评估体系对最终纳入的医学科普信息进行评分[8]。DISCERN评估体系分为出版物可靠性评估和治疗选择相关信息的质量评估两大部分,第1部分共8个评分要点,第2部分共7个要点,最后进行总体印象评分,合计16项评分。其中若互联网医学科普信息中非常详实的描述了相关要点,则该项要点得分为满分3分;若部分提及,则为2分;若丝毫未提及,则为1分;总体印象评分标准为最高3分,最低1分。计算两位专科医生的平均分作为最终得分,同时分析两位评分者各部分和总体印象评分的一致性程度。DISCERN体系更着重于可靠性和治疗方面的评估,因此作为补充,同时记录医学信息中是否陈述克罗恩病的定义、流行病学、病因和危险因素、症状、分类和分型、诊断标准、并发症、治疗选择、副作用、预后及就诊建议等多个项目,并把结果记录至核对表。
目前尚无公认的中文可读性评估方法,尤其在医学科普信息方面。本研究分别选取人民教育出版社小学、初中和高中的语文教材作为第1、第2和第3级中文水平参考标准语料库,同时选取本科和博士毕业论文作为第4和5级中文水平参考标准语料库,可读性难度从第1至第5级依次增加。根据语言学研究方法,参照《通用规范汉字表》、《汉语水平词汇与汉字等级大纲》,通过主成分分析法,选定一、二、三级字占比,甲、乙、丙、丁级词占比,平均词长、句平均字数和句平均词数等10个核心参数作为评估项目,通过计算机随机选取第1至5级参考标准语料库中共计768个有效数据模块作为建模材料,利用计算机统计出10个参数的量化数值,根据结果分布特点,使用有序Cauchit回归进行建模[9]。同时分析纳入互联网医学科普信息的文字,得出每个网页的10项语言学评估参数结果,根据参考标准材料建模结果,判断其可读性分级。
采用SPSS 22.0统计统计学软件进行数据分析,DISCERN评分的一致性评分使用Spearman秩相关分析,中文可读性分级建模则使用Cauchit回归分析。P<0.05为差异有统计学意义。
58个网页中,最终共有13(22.4%)个网页纳入研究。其余未入选的45个网页中,17个为内容重复、10个论坛讨论、6个新闻报道、4个广告、3个学术论文节选、3个字数过少(均<350字)和2个非文字网页。纳入研究的13个网页的名称、网站地址、DISCERN评分和可读性分级见表1。

13个网页的名称、网站地址、DISCERN评分和可读性分级
13个网页的名称、网站地址、DISCERN评分和可读性分级
| 搜索编号 | 网页名称及短地址 | 网站地址 | DISCERN评分 | 可读性分级 | ||
|---|---|---|---|---|---|---|
| 第一部分 | 第二部分 | 总平均分 | ||||
| 百度02 | 医学百科 | http://dwz.cn/001bxy | 2.1 | 1.8 | 2.0 | 3 |
| 百度08 | 好大夫在线某专栏1 | http://t.cn/RZ4XgiC | 2.0 | 1.2 | 1.6 | 5 |
| 百度10 | 互动百科 | http://t.cn/R50vUUk | 2.6 | 1.1 | 1.9 | 5 |
| 百度11 | 百度Blog | http://t.cn/RnwDyYJ | 1.8 | 1.1 | 1.5 | 4 |
| 百度16 | 好大夫在线某专栏2 | http://t.cn/R4HPzmC | 2.3 | 1.9 | 2.1 | 4 |
| 百度22 | 好大夫在线某专栏3 | http://t.cn/RnwD5fS | 2.2 | 1.1 | 1.7 | 4 |
| 百度23 | 飞华健康网 | http://t.cn/RnwDceD | 1.7 | 1.1 | 1.4 | 2 |
| 百度30 | 中华康网 | http://t.cn/RnwDIqP | 2.8 | 2.7 | 2.8 | 4 |
| 搜狗01 | 百科名医网 | http://t.cn/RnwDxff | 1.9 | 2.0 | 1.9 | 2 |
| 搜狗02 | 搜狗百科某词条1 | http://t.cn/RnwD0cv | 2.6 | 2.0 | 2.3 | 5 |
| 搜狗06 | 好大夫在线某专栏4 | http://t.cn/RnwDWdj | 1.9 | 1.8 | 1.8 | 3 |
| 搜狗22 | 好大夫在线某专栏5 | http://t.cn/RnwDYlV | 2.9 | 2.9 | 2.9 | 4 |
| 搜狗24 | 搜狗百科某词条2 | http://t.cn/RnwDQ0V | 2.1 | 2.0 | 2.0 | 5 |
注:总平均分为DISCERN评分中所有16项评分总和的平均值;可读性分级包括1~5级,1级为小学教材水平,2级为初中教材水平,3级为高中教材水平,4级为全日制本科教材水平,5级为博士论文水平
在符合研究标准的13个网页中,网站建设者属性全部为商业性机构,无公益性机构(包括学术协会团队、大学、公立医院医生等)。在作者属性方面,公立医院医生个人共7个(53.8%),其余6个网页未交待作者属性。网页建立时间基本分布在2009年至2016年,有2个网页未提供建立时间。网页信息更新方面,仅有5个(38.5%)网页提供了更新时间,1个为2012年,2个为2014年,还有2个为2017年。无任何网页声明了利益冲突,也仅有3个(23.1%)网页提供了文字内容的具体参考文献,提供了内容可靠性的证据。
Spearman秩相关分析结果显示,两位评分者的DISCERN评分结果一致性良好,第1部分、第2部分和所有评分的Spearman相关系数分别为0.685、0.556和0.607,对应P值均<0.001。13个纳入研究的网页的DISCERN体系总体评分为2.0分。在第1部分的出版物可靠性评估方面,我国克罗恩病相关的互联网科普信息未提供足够的信息来源、依据和利益冲突等出版物最常规的基本要素,相对应的项目评分分别为1.8、1.7和1.3分。在第2部分治疗相关信息的质量评估方面,网页存在多方面的信息缺失和内容错误,所有7项评估内容的平均分均未超过2.0分。平均分和总体印象评分排名前两位的为两篇译文(好大夫在线某专栏5和中华康网),但其在搜索引擎中的检索排序均靠后,前者仅在搜狗搜索中排名第30,后者在百度搜索中排名第22,且两者均未同时在两个搜索引擎结果中出现。DISCERN评估体系及评分结果分析见表2。

DISCERN评估体系及评分结果分析
DISCERN评估体系及评分结果分析
| 项目 | 平均分 | Spearman系数 | P值 | |
|---|---|---|---|---|
| 第一部分出版物可靠性评估 | 0.685 | <0.001 | ||
| 1.出版物目标是否清晰 | 2.8 | |||
| 2.内容是否达到设定目标 | 2.7 | |||
| 3.内容是否切题 | 2.7 | |||
| 4.除提供作者以外,用于编辑出版物 | 1.8 | |||
| 内容的信息来源是否清晰 | ||||
| 5.出版物是否清晰地陈述了文中相 | 1.7 | |||
| 关信息是如何产生的 | ||||
| 6.出版物是否客观公正 | 2.2 | |||
| 7.出版物是否提供了赞助方及引用 | 1.3 | |||
| 信息等细节 | ||||
| 8.出版物是否提到尚未明确的部分 | 2.3 | |||
| 第二部分治疗相关信息的质量评估 | 0.556 | <0.001 | ||
| 9.出版物是否描述了每种治疗方案 | 1.8 | |||
| 如何运作 | ||||
| 10.出版物是否描述了每种治疗方案 | 1.9 | |||
| 的获益 | ||||
| 11.出版物是否描述了每种治疗方案 | 1.6 | |||
| 的风险 | ||||
| 12.出版物是否描述了如果不接受治 | 1.7 | |||
| 疗可能会发生的结果 | ||||
| 13.出版物是否描述了治疗选择将如 | 1.8 | |||
| 何影响生活质量 | ||||
| 14.出版物是否清晰陈述了除某种合 | 2.0 | |||
| 适的治疗选择外,还存有其他方 | ||||
| 案的可能性 | ||||
| 15.出版物是否提供了共同决策的支持 | 1.6 | |||
| 综合评分 | 0.607 | <0.001 | ||
| 16.基于以上所有问题的答案,请您 | 2.0 | |||
| 做出综合评分 | ||||
作为DISCERN体系的补充,使用核对表法进一步全面评估所有网页信息,结果显示,超过60%的网页提供的信息涉及到克罗恩病的定义、病因和危险因素、症状、诊断和治疗选择,但不足15%的网页提供的信息涉及分类和分型、治疗副作用以及就诊建议。纳入研究的13个网页信息内容分析见图1。


中文医学科普信息模型选取参考数据库738个文字模块,获取10个常用语言学参数(一、二、三级字占比,甲、乙、丙、丁级词占比,平均词长、句平均字数和句平均词数)进行建模,同时也获取纳入的13个网页信息的10个语言学参数,计算得到其各自的可读性分级。结果显示,大多数"克罗恩病"相关互联网信息可读性分级整体较高,其中3级(高中教材水平)2个,4级(本科教材水平)5个,5级(博士论文水平)4个,高于义务教育水平信息共计11个(84.6%),其中大专及以上水平信息共计9个(69.2%),而可读性符合义务教育水平(1~ 2级)的信息仅2个(15.4%)。纳入研究的13个网页的可读性分级结果见表1。
本研究以我国克罗恩病相关互联网医学科普信息质量评估和可读性分析为重点,是首个使用DISCERN体系对中文医学科普信息进行深入评估的研究,同时首次将中文可读性分析运用于医学科普信息的评估。研究结果显示,我国克罗恩病相关互联网医学优质科普信息数量少,同时可读性难度大,亟待引起学界重视和完善。
搜索引擎在快速获取有效信息中有着重要地位,与欧美国家不同,百度和搜狗是我国两大主流搜索引擎,市场占有率高达八成以上,但就克罗恩病相关信息而言,其有效检索信息仅占22.4%(13/58),且内容高度重复的信息比例较高(29.3%,17/58),即使是可靠性和信息质量最高的两篇信息(百度30和搜狗22)也是直接翻译的国外科普材料,间接说明我国医学科普信息原创性需要进一步提高。此外这两篇信息检索顺序靠后(分别排序为百度第30位和搜狗第22位),一定程度上影响了其信息的有效推广。
克罗恩病因其自身疾病特点,如青年起病、长期慢性反复的疾病病程、长期药物治疗、反复接受肠道手术等,所涉及相关医学科普信息量大,医患间面对面的沟通常无法充分满足患病群体的实际需要。美国一项研究显示,半数以上的患者会通过网络获取相关信息[10]。目前,该病在我国的发病率和患病率尚低于欧美国家,但却处于不断上升阶段,患病人群、甚至是部分消化专科医师对该病认识不足,因此相关互联网信息的可靠性和可读性至关重要。但是目前中文医学科普信息质量参差不齐,其评估体系更是严重缺乏。DISCERN体系是1999年英国牛津大学健康科学研究所公共卫生和初级医疗专业团队所制定的医学信息评估,旨在评估医学信息的可靠性程度,同时着重于医学治疗信息品质的评价[8]。近年来,该体系已被不同亚专业的医学团队用于评估数种慢性病的英文医学科普信息质量,显示出良好的应用价值,并逐渐被学界推崇为最核心评估体系之一[11,12,13]。其在中文医学信息中的可重复性尚未定论,本研究通过对比两位专科医生各部分评分的一致性程度,说明该评分可重复性良好,可作为中文医学信息评估标准之一。从DISCERN评分(表2)和信息内容分析(图1)中可以看出,我国医学科普信息常常忽略出版信息来源可靠性以及相关利益冲突,部分信息甚至未提供作者和作者属性,缺乏足够的科学严谨性,使得信息内容可靠性降低。这一方面可能与这些信息均来自商业性机构网站相关;另一方面,也暴露出我国薄弱的版权保护意识。治疗信息质量评估是DISCERN评估的另一重点,但由于不同信息主旨间存在一定不同,部分信息并不着重于治疗选择的介绍(例如百度08),因此,DISCERN评分第2部分评分相对较低。但应该注意到DISCERN评分并无法完全评估文字内容的科学性,有多个信息均涉及到治疗信息(例如百度02、百度23、搜狗06和搜狗24),但其治疗相关内容错误繁多,反而影响了读者正确的判断。作为DISCERN评估的补充,本研究还统计所有医学科普信息是否纳入了克罗恩病其他重要内容(图1),结果显示大多数信息均涉及到疾病定义、病因和危险因素、症状、诊断和治疗选择,但很少涉及分类和分型、治疗副作用以及就诊建议。对于部分以"百科"命名的网站而言,还应在分类和分型、治疗副作用以及就诊建议等方面适当补充,以改善词条知识的完整性。
中文医学科普信息可读性分析是本研究的另一创新和重点。目前,英文信息可读性分析已经基本成熟,但中英文两种语言特点差异明显,无法简单的套用,因此建立符合中文阅读特点的可读性分析的模型势在必行[14]。在已有的国内语言学研究中,中文可读性分析的研究尚局限在留学生学习汉语的小规模研究中,应用更为广泛、需求更为强烈的中文医学科普信息可读性分析尚无报道[9,15]。本研究首次根据中文语言学特点,纳入不同层次中文语文教材和学术研究论文作为参考标准语料库,提取不同层次文字的语言学核心参数用以建立模型,初步分析了克罗恩病相关中文医学科普信息的可读性。结果显示这些信息可读性难度高,超过80%的信息内容适合非义务教育以上(受教育年数>9年)人群阅读,近70%的内容适合本科水平阅读(受教育年数>12年),这一比例远高于我国目前平均受教育水平(2010年为8.8年)以及科普读物的推荐阅读水平(8年级)[16,17]。可靠性和信息质量最高的两篇信息的可读性难度均达到本科论文阅读水平,一定程度上影响了其价值的有效传播。值得一提的是,可读性难度最高的几篇科普信息DISCERN评分并不理想,这也说明优质的科普信息并不是专业术语的堆砌,更应该从患者角度出发撰写通俗易懂的内容。
本研究尚有可改进的地方,一是可增加评分学者人数,进一步检验DISCERN体系对于中文医学科普信息评价的一致性情况;二是可读性模型需要更多的研究进行验证。综上述,本研究发现我国克罗恩病相关互联网医学优质科普信息数量少,可读性难度大,鼓励学术协会或团体、公益性基金会、大学医学院及附属医院的专业人士进一步完善我国医学科普信息内容,为大众提供更好的医学科普信息。





















