综述
基于人工智能的病理学在肿瘤诊疗中的研究进展
磁共振成像, 2021,12(2) : 117-120. DOI: 10.12015/issn.1674-8034.2021.02.029
摘要

肿瘤的早期发现和精确诊断对于患者治疗的选择和生存率的提高有很大的帮助,病理学作为肿瘤早期诊断的金标准,由病理医生通过肉眼观察对样本的组织结构和细胞病变进行分析诊断,这是高度主观、繁琐、不可重复的过程。随着近些年人工智能技术的发展,尤其是影像组学能够从MRI图像中高通量地提取定量特征,将图像转换成高维的、可挖掘的数据,在肿瘤诊断、分级、预后等方面表现出极大的优势。基于人工智能对病理图像进行定量分析,在肿瘤的诊疗中也有独特的价值,不仅提高了肿瘤诊断的准确性和客观性,而且减轻了病理医生的工作,在某些情况下对于图像的识别能力超过了专业的病理医生。影像组学与病理数据的结合是当前新的研究趋势。笔者综述了基于人工智能的病理学在肿瘤中的应用研究,病理信息在MRI中的作用及未来展望。

引用本文: 田大伟, 王效春, 张辉, 等.  基于人工智能的病理学在肿瘤诊疗中的研究进展 [J] . 磁共振成像, 2021, 12(2) : 117-120. DOI: 10.12015/issn.1674-8034.2021.02.029.
参考文献导出:   Endnote    NoteExpress    RefWorks    NoteFirst    医学文献王
扫  描  看  全  文

正文
作者信息
基金 0  关键词  0
English Abstract
评论
阅读 0  评论  0
相关资源
引用 | 论文 | 视频

本刊刊出的所有论文不代表本刊编委会的观点,除非特别声明

癌症是当今世界最主要的公共卫生问题,在我国有逐年上升的趋势[1]。病理学反映了肿瘤的进展,能够识别并提供与肿瘤相关的表型信息。常规的病理医生在显微镜下对组织的微观结构进行观察以进行组织学评估。然而,人眼识别细微组织变化的能力有限,可能会出现观察者内和观察者间差异[2],另外这一手动过程繁琐且耗时,分析结果可能受到病理医生经验水平和主观因素的影响,过度疲劳有时也会产生误诊[3, 4]

近年来,随着人工智能在临床癌症研究中的广泛应用[5],影像组学从肿瘤MRI数据中提取强度、纹理等特征建立诊断、预后和治疗反应的预测模型。基于人工智能的数字病理学能够使用自动分析图像的技术快速检查和量化组织切片,识别病理信息并突出显示感兴趣和需要重点关注的区域,学习病理组织图像更深层的特征,同时减少了人工筛选所需的时间,从而更高效地完成肿瘤的检测、分类和预测[6, 7, 8, 9]。将影像组学特征与患者的临床病理信息融合构建的肿瘤预测模型,能更好地预测肿瘤的侵袭性,揭示了影像与患者的预后联系[10]。本文就数字病理学到人工智能的发展以及在肿瘤诊疗中的应用,病理信息在MRI中的作用和未来展望作一综述。

1 数字病理学和人工智能简述

数字病理学[11]使用全切片数字扫描技术获得高分辨率图像,应用计算机将病理组织切片转换为高质量的数字图像,即全切片数字化图像(whole slide image,WSI)。数字病理学不仅减少了病理医生的工作量,将他们从单调、易出错的涂片筛选中解放出来,提高了他们的诊断能力并提供更多有价值的信息,还能降低患者病理切片识别错误和丢失的风险,更迅速获取外部意见,改进了远程病理会诊和信息的共享,实现了切片的数字化管理[12]。在数字病理学的基础上,WSI构建的丰富的数据集为人工智能技术在病理学中的应用创造了条件,与人工智能的融合发展成为数字病理学发展的重要方向。

机器学习是人工智能的子集,从大量数据中学习并构建预测模型,利用机器学习可以从肿瘤组织图像中提取与患者预后相关的信息,对肿瘤的预后做出科学的判断[13]。深度学习是机器学习中一种基于数据进行表征学习的方法,包含多层神经元组成的深度神经网络,可以学习图像数据的深层次规律,深度学习算法可以增强图像的分析能力,在肿瘤的诊断、转移、预后等方面有所帮助[14]。卷积神经网络(convolutional neural network,CNN)是一种有助于图像分类的深度学习方法,在CNN的辅助下计算机能够自动识别图像的最佳特征,这些特征能够在不依赖大量预处理或人类知识的情况下直接分类[15]。人工智能与医学图像的结合是目前医疗领域研究的新热点,在肿瘤的临床研究中达到了新的高度。

2 基于人工智能的病理学在肿瘤中的应用

在病理学中,人工智能辅助诊断提高了病理的数字化程度,可用于肿瘤的分类诊断、分级、预后预测和治疗。目前,其在胶质瘤、乳腺癌、肺癌、肾癌、肝癌、前列腺癌、大肠癌、鼻咽癌、淋巴瘤、黑色素瘤、间皮瘤等多种肿瘤疾病中展开了研究。基于人工智能的病理学在肿瘤中的应用将随着技术的发展不断扩大,进一步开发新的诊断模式和治疗手段。

2.1 肿瘤的分类

准确的肿瘤分类能够及早辅助肿瘤治疗的决策和实施。Liao等[16]从491张苏木精-伊红(H&E)切片提取了1733个定量图像特征,建立基于机器学习的模型成功将肝癌与邻近的正常组织区分开,测试组中受试者操作特征AUC为0.988,验证组中AUC为0.886。Sun等[17]利用迁移学习从322张肝病理组织图像中获得特征,然后结合多示例学习进行分类,将肝脏组织病理图像区分为肿瘤和正常组织,准确率为0.98。

基于人工智能的病理学不仅能将肿瘤与正常组织区分开,对于肿瘤亚型的分类、肿瘤与其他异常结构的区分也有很大的帮助。Tabibu等[18]开发了一个基于支持向量机的深度学习框架,选择了1584例肾癌切片图像,卷积神经网络在WSI上将透明细胞癌和嫌色细胞癌与正常组织区分开,准确率分别为93.39%和87.34%,最佳AUC分别为0.98和0.95,区分透明细胞癌、嫌色细胞癌和乳头状细胞癌的分类准确率达到94.07%,最佳AUC达到0.93。Han等[19]提出了一种基于类结构的深度卷积神经网络的分类方法对82例患者的7909张乳腺癌组织病理图像进行多分类,平均准确率为93.2%。Syrykh等[20]设计了一个深度学习框架,使用378例H&E染色的淋巴结WSIs进行训练、验证、测试,准确区分滤泡淋巴瘤和滤泡增生,AUC为0.99。Hekler等[21]使用卷积神经网络对595例包含痣和黑色素瘤患者的H&E切片进行分类,用100例切片对结果进行测试并与11名病理医生进行比较,CNN的敏感度为76%,特异度为60%,准确度为68%,灵敏度和准确度均超过病理医生。

基于人工智能的病理学降低了图像数据的高冗余度,能够处理数据的不平衡问题,快速识别病理组织图像中的癌性组织和肿瘤亚型的结构差异。基于人工智能的模型能够自动进行肿瘤亚型和正常组织的区分,较于病理医生提高了诊断的准确性,通过客观分析降低了病理医生间的可变性、不一致性,提高了肿瘤分类的效率。

2.2 肿瘤的分级

Rathore等[22]从735例神经胶质瘤患者的WSIs中提取临床特征、图像特征和纹理特征来训练支持向量机模型,使用多层预测模型将神经胶质瘤分为Ⅱ-Ⅳ级,准确度为91.48%,敏感度为93.47%,特异度为85.36%,最佳AUC为0.927。Lucas等[23]利用WSI中的像素和肿瘤腺体的实质性变化训练CNN,使用CNN对96个前列腺活检组织切片进行自动Gleason分级,区分GP≥4与GP≤3的准确率、灵敏度和特异度分别为90%、77%和94%。Poojitha等[24]提出了一种深度学习的新型混合架构,其中包含3个神经卷积网络,对前列腺癌进行Gleason分级的准确度达到了0.98。Khoshdeli等[25]使用两种基于卷积神经网络的模型对2461例WSIs进行分类,深层卷积神经网络的模型能够从中将部分肾癌WSIs分为低级别颗粒肿瘤和高级别透明细胞癌,准确度为0.99。

组织病理学是肿瘤分级的金标准,这一过程繁琐且具有主观性,人工智能的应用能够改善分级的流程,克服不可重复性,且诊断准确率高于一般的病理医生。基于深度学习能够从图像中提取有助于分级的组织学特征,如微血管增值水平、有丝分裂活性、坏死等。如果结合放射学特征和临床特征会进一步提升分级水平。

2.3 预测预后

人工智能技术加快了病理医生对病理图像的评估,增加了预测的客观性和可重复性。Courtiol等[26]开发了一种基于深度卷积神经网络的方法,不需要病理医生局部注释就能分析WSI,对间皮瘤患者的WSIs进行预处理,使用WSIs的图像块预测总生存期(overall survival,OS),平均c-指数>0.64。发现有助于预测预后的区域主要位于基质。Kather等[27]通过迁移学习利用手动勾画得到的HE图像训练CNN,使用得到的模型从862张I-IV期大肠癌组织切片图像中提取具有临床注释的组织特征,在多变量Cox回归模型中计算了一个“深层间质评分”,这是总生存期[风险比(hazard ratio,HR):1.99]的独立预测因子。结果表明,CNN能够根据病理组织图像评估肿瘤微环境并预测预后。这些研究证实了肿瘤微环境在预测肿瘤预后方面的重要性。

Campanella等[28]开发了一个在多示例学习方法下结合卷积神经网络和递归神经网络的深度学习框架,在44732张WSIs的数据集上进行评估。对前列腺癌、基底细胞癌和乳腺癌腋窝淋巴结转移的检测,AUC均在0.98以上。Zadeh Shirazi等[29]开发了一个基于CNN的分类器,根据组织病理图像将脑肿瘤患者的生存期分类(Ⅰ-Ⅳ期),在训练组和验证组中得到了0.99和0.8的准确度,最佳AUC为1。Yu等[30]设计了一个自动化工作流程,从2480个肺腺癌和鳞癌的WSIs中提取了9879个定量图像特征,使用机器学习方法选择特征并将Ⅰ期肺癌患者分为短期生存组和长期生存组。研究表明,自动选择的病理图像特征能够预测肺癌的预后。Skrede等[31]基于深度学习直接分析常规的H&E切片开发了一种预测早期结直肠癌切除术后患者预后的生物标志物,将II期和III期患者分为不同的预后组。在验证队列中,预后差和预后良好的HR为3.83,调整后的HR为3.04。结果表明这一标志物优于现有的分子和形态学预测标志物,改善了风险分层。

基于人工智能的病理学从组织病理图像中提取客观特征,建立机器学习分类器来预测肿瘤的生存结果,快速将患者分为不同的预后组,间接地辅助治疗或评估患者的治疗情况。这种能力优于根据肿瘤分级和分期判断预后的效果。

2.4 指导放化疗与靶向治疗

Liu等[32]利用神经网络对从843例鼻咽癌患者的训练组中提取的病理微观特征进行分析,根据受试者操作特征将患者分为高危和低危两组。结果显示,高危组5年无进展生存期(progression-free-survival,PFS)较低危组差,分别为28.1%和86.4% (HR为10.03)。低危组中接受诱导化疗联合同期放化疗和接受同期放化疗的患者5年PFS相差不大(HR为0.67)。同时,高危组中接受诱导化疗联合同期放化疗的患者5年PFS高于单独接受同期放化疗的患者(HR为0.50)。结果证明病理微观特征有助于指导鼻咽癌患者的治疗决策。

神经胶质瘤的等级和亚型与微血管高度相关,Li等[33]提出了一种检测和量化胶质瘤中微血管的基于自动深度学习的方法,使用350例神经胶质瘤患者的WSIs,用全卷积网络进行微血管分割并进行识别、特征提取和分析。胶质母细胞瘤中微血管密度和微血管面积分别为95%和170%。结果表明该方法可以精确地提取微血管的特征,从而指导是否采用放化疗或抗血管生成的靶向治疗。

基于深度学习,诊断性的病理学通过预测患者的生存风险进行分组、量化肿瘤微观结构均可以指导患者的治疗。需要注意的是,微观特征辅助治疗的原理不明确,复杂病理图像的分割错误和过度计数会对结果产生偏差,抗血管生成的研究较少,有待进一步的研究和验证。

3 病理信息在MRI中的作用

影像组学中的病理信息包括病理分化程度、肿瘤标志物、免疫组化标志物、肿瘤分期等。结合定性和定量MRI特征与病理信息可以预测肿瘤患者的预后,促进个性化治疗。Zhao等[34]结合47例胆管癌患者的影像组学特征、增强MRI、血管内皮生长因子受体构建联合模型,显著提高了影像组学模型的预测性能,AUC、灵敏度、特异度分别为0.949、0.875、0.774。Cui等[35]从186例局部晚期直肠癌放化疗前的T2WI、增强T1WI、ADC图中提取1188个影像特征,结合病理信息构建了影像组学诺模图,较单独的影像组学标签预测效果更好,最佳AUC为0.966。另外,结合病理信息的影像组学模型在鉴别非小细胞肺鳞癌和腺癌[36]、预测淋巴结转移[37]等方面也可优化影像组学模型。

随着传统病理数据与MRI的结合应用,影像组学模型可以更好地量化肿瘤异质性,改善患者的危险分层以提高个性化诊疗水平,发挥其在精准医疗中的作用。目前人工智能分析大多基于单独的病理图像或MRI图像,尚无基于人工智能的微观病理图像及宏观MRI图像的综合量化分析研究,多层次的人工智能综合分析有望成为未来的研究方向。

4 局限性及展望

人工智能技术的发展为现代病理学提供了新的方向和挑战,越来越多的参与了病理医生的诊断和决策。但仍有一些局限性,由于人工智能算法的限制、数据来源的差异、患者的组织学形态和特征不同,目前没有统一的组织病理学诊断模式和应用于不同类型肿瘤的诊断模型;基于人工智能的病理学对图像质量的要求比较高,而构建大量带注释的高质量图像非常昂贵且耗时,质量不合格会影响特征的提取和数据的分析;病理图像通常有噪声。

随着数字病理学的发展,基于更大、更丰富的数据集,构建性能更佳的人工智能预测模型,探索深层的网络结构优化模型并提高分类和预后性能。未来的研究应该朝着多学科交叉方向发展,人工智能不仅基于病理图像数据分析,还能整合影像量化特征和基因信息,基于人工智能的肿瘤多层次、多维度的综合量化研究有待探索。

综上所述,基于人工智能的病理学应用于肿瘤的分类、分级、预后预测、放化疗和靶向治疗的指导,提高了诊断的效率和准确性,实现了更快速、更精确的肿瘤诊疗。传统病理数据结合MRI影像组学的应用能改善患者的危险分层并提高个性化诊疗水平。人工智能基于微观病理及基因、宏观MRI的多层次综合量化分析研究,将是今后肿瘤精准诊疗的研究趋势。

志      谢
ACKNOWLEDGENTS

This work was part of National Natural Science Foundation of China (No.81701681).

利益冲突
作者利益冲突声明:

全体作者均声明无利益冲突。

参考文献References
1
ChenW, ZhengR, BaadePD, et al. Cancer statistics in China, 2015[J]. CA Cancer J Clin, 2016, 66(2): 115-132. DOI:10.3322/caac.21338.
2
van den BentMJ. Interobserver variation of the histopathological diagnosis in clinical trials on glioma: a clinician's perspective[J]. Acta Neuropathol, 2010, 120(3): 297-304. DOI:10.1007/s00401-010-0725-7.
3
ElmoreJG, LongtonGM, CarneyPA, et al. Diagnostic concordance among pathologists interpreting breast biopsy specimens[J]. JAMA, 2015, 313(11): 1122-1132. DOI:10.1001/jama.2015.1405.
4
RaabSS, GrzybickiDM, JanoskyJE, et al. Clinical impact and frequency of anatomic pathology errors in cancer diagnoses[J]. Cancer, 2005, 104(10): 2205-2213. DOI:10.1002/cncr.21431.
5
HuangS, YangJ, FongS, et al. Artificial intelligence in cancer diagnosis and prognosis: Opportunities and challenges[J]. Cancer Lett, 2020, 471: 61-71. DOI:10.1016/j.canlet.2019.12.007.
6
WangL, DingL, LiuZ, et al. Automated identification of malignancy in whole-slide pathological images: identification of eyelid malignant melanoma in gigapixel pathological slides using deep learning[J]. Br J Ophthalmol, 2020, 104(3): 318-323. DOI:10.1136/bjophthalmol-2018-313706.
7
IizukaO, KanavatiF, KatoK, et al. Deep learning models for histopathological classification of gastric and colonic epithelial tumours[J]. Sci Rep, 2020, 10(1): 1504. DOI:10.1038/s41598-020-58467-9.
8
IbrahimA, GambleP, JaroensriR, et al. Artificial intelligence in digital breast pathology: Techniques and applications[J]. Breast, 2020, 49: 267-273. DOI:10.1016/j.breast.2019.12.007.
9
LitjensG, SánchezCI, TimofeevaN, et al. Deep learning as a tool for increased accuracy and efficiency of histopathological diagnosis[J]. Sci Rep, 2016, 6: 26286. DOI:10.1038/srep26286.
10
MadabhushiA, LeeG. Image analysis and machine learning in digital pathology: Challenges and opportunities[J]. Med Image Anal, 2016, 33: 170-175. DOI:10.1016/j.media.2016.06.037.
11
Jara-LazaroAR, ThambooTP, TehM, et al. Digital pathology: exploring its applications in diagnostic surgical pathology practice[J]. Pathology, 2010, 42(6): 512-518. DOI:10.3109/00313025.2010.508787.
12
WilliamsBJ, BottomsD, TreanorD. Future-proofing pathology: the case for clinical adoption of digital pathology[J]. J Clin Pathol, 2017, 70(12): 1010-1018. DOI:10.1136/jclinpath-2017-204644.
13
TurkkiR, ByckhovD, LundinM, et al. Breast cancer outcome prediction with tumour tissue images and machine learning[J]. Breast Cancer Res Treat, 2019, 177(1): 41-52. DOI:10.1007/s10549-019-05281-1.
14
MiyoshiH, SatoK, KabeyaY, et al. Deep learning shows the capability of high-level computer-aided diagnosis in malignant lymphoma[J]. Lab Invest, 2020, Online ahead of print. DOI: 10.1038/s41374-020-0442-3.
15
DenizE, ŞengürA, KadiroğluZ, et al. Transfer learning based histopathologic image classification for breast cancer detection[J]. Health Inf Sci Syst, 2018, 6(1): 18. DOI:10.1007/s13755-018-0057-x.
16
LiaoH, XiongT, PengJ, et al. Classification and prognosis prediction from histopathological images of hepatocellular carcinoma by a fully automated pipeline based on machine learning[J]. Ann Surg Oncol, 2020, 27(7): 2359-2369. DOI:10.1245/s10434-019-08190-1.
17
SunC, XuA, LiuD, et al. Deep learning-based classification of liver cancer histopathology images using only global labels[J]. IEEE J Biomed Health Inform, 2020, 24(6): 1643-1651. DOI:10.1109/JBHI.2019.2949837.
18
TabibuS, VinodPK, JawaharCV. Pan-renal cell carcinoma classification and survival prediction from histopathology images using deep learning[J]. Sci Rep, 2019, 9(1): 10509. DOI:10.1038/s41598-019-46718-3.
19
HanZ, WeiB, ZhengY, et al. Breast cancer multi-classification from histopathological images with structured deep learning model[J]. Sci Rep, 2017, 7(1): 4172. DOI:10.1038/s41598-017-04075-z.
20
SyrykhC, AbreuA, AmaraN, et al. Accurate diagnosis of lymphoma on whole-slide histopathology images using deep learning[J]. NPJ Digit Med, 2020, 3: 63. DOI:10.1038/s41746-020-0272-0.
21
HeklerA, UtikalJS, EnkAH, et al. Deep learning outperformed 11 pathologists in the classification of histopathological melanoma images[J]. Eur J Cancer, 2019, 118: 91-96. DOI:10.1016/j.ejca.2019.06.012.
22
RathoreS, NiaziT, IftikharMA, et al. Glioma grading via analysis of digital pathology images using machine learning[J]. Cancers (Basel), 2020, 12(3): 578. DOI:10.3390/cancers12030578.
23
LucasM, JansenI, Savci-HeijinkCD, et al. Deep learning for automatic Gleason pattern classification for grade group determination of prostate biopsies[J]. Virchows Arch, 2019, 475(1): 77-83. DOI:10.1007/s00428-019-02577-x.
24
PoojithaUP, Lal SharmaS. Hybrid unified deep learning network for highly precise gleason grading of prostate cancer[J]. Conf Proc IEEE Eng Med Biol Soc, 2019, 2019: 899-903. DOI:10.1109/EMBC.2019.8856912.
25
KhoshdeliM, BorowskyA, ParvinB. Deep learning models differentiate tumor grades from H&E stained histology sections[J]. Conf Proc IEEE Eng Med Biol Soc, 2018, 2018: 620-623. DOI:10.1109/EMBC.2018.8512357.
26
CourtiolP, MaussionC, MoariiM, et al. Deep learning-based classification of mesothelioma improves prediction of patient outcome[J]. Nat Med, 2019, 25(10): 1519-1525. DOI:10.1038/s41591-019-0583-3.
27
KatherJN, KrisamJ, CharoentongP, et al. Predicting survival from colorectal cancer histology slides using deep learning: A retrospective multicenter study[J]. PLoS Med, 2019, 16(1): e1002730. DOI:10.1371/journal.pmed.1002730.
28
CampanellaG, HannaMG, GeneslawL, et al. Clinical-grade computational pathology using weakly supervised deep learning on whole slide images[J]. Nat Med, 2019, 25(8): 1301-1309. DOI:10.1038/s41591-019-0508-1.
29
Zadeh ShiraziA, FornaciariE, BagherianNS, et al. DeepSurvNet: deep survival convolutional network for brain cancer survival rate classification based on histopathological images[J]. Med Biol Eng Comput, 2020, 58(5): 1031-1045. DOI:10.1007/s11517-020-02147-3.
30
YuKH, ZhangC, BerryGJ, et al. Predicting non-small cell lung cancer prognosis by fully automated microscopic pathology image features[J]. Nat Commun, 2016, 7: 12474. DOI:10.1038/ncomms12474.
31
SkredeOJ, De RaedtS, KleppeA, et al. Deep learning for prediction of colorectal cancer outcome: a discovery and validation study[J]. Lancet, 2020, 395(10221): 350-360. DOI:10.1016/S0140-6736(19)32998-8.
32
LiuK, XiaW, QiangM, et al. Deep learning pathological microscopic features in endemic nasopharyngeal cancer: Prognostic value and protentional role for individual induction chemotherapy[J]. Cancer Med, 2020, 9(4): 1298-1306. DOI:10.1002/cam4.2802.
33
LiX, TangQ, YuJ, et al. Microvascularity detection and quantification in glioma: a novel deep-learning-based framework[J]. Lab Invest, 2019, 99(10): 1515-1526. DOI:10.1038/s41374-019-0272-3.
34
ZhaoL, MaX, LiangM, et al. Prediction for early recurrence of intrahepatic mass-forming cholangiocarcinoma: quantitative magnetic resonance imaging combined with prognostic immunohistochemical markers[J]. Cancer Imaging, 2019, 19(1): 49. DOI:10.1186/s40644-019-0234-4.
35
CuiY, YangX, ShiZ, et al. Radiomics analysis of multiparametric MRI for prediction of pathological complete response to neoadjuvant chemoradiotherapy in locally advanced rectal cancer[J]. Eur Radiol, 2019, 29(3): 1211-1220. DOI:10.1007/s00330-018-5683-9.
36
TangX, XuX, HanZ, et al. Elaboration of a multimodal MRI-based radiomics signature for the preoperative prediction of the histological subtype in patients with non-small-cell lung cancer[J]. Biomed Eng Online, 2020, 19(1): 5. DOI:10.1186/s12938-019-0744-0.
37
WuQ, WangS, ZhangS, et al. Development of a deep learning model to identify lymph node metastasis on magnetic resonance imaging in patients with cervical cancer[J]. JAMA Netw Open, 2020, 3(7): e2011625. DOI:10.1001/jamanetworkopen.2020.11625.
 
 
展开/关闭提纲
查看图表详情
回到顶部
放大字体
缩小字体
标签
关键词