现如今膝关节骨性关节炎（knee osteoarthritis, KOA）的患病率逐年升高，评估KOA主要通过MRI。膝骨关节本身结构复杂，目前依靠专业医师的临床经验通过对膝关节MRI图像进行诊断判别，不仅效率较低，而且可能存在仅凭肉眼观察难以判断的微小病灶，导致精度较低。近年来深度学习发展迅速，在图像分割、图像合成等计算机视觉领域取得了一定进展，人们开始通过深度学习的方法去处理复杂的医学图像，如MRI图像、CT图像以及X光图像等，以此提高临床诊疗的精确度和效率。现在也有很多相关研究引入深度学习处理膝骨关节MRI图像以辅助KOA的诊断，本文将这些研究进行归纳与整理，总结出了近年来深度学习在KOA的MRI图像分割、重建、合成等方面的研究进展，并分析了现有研究的局限性，以期为未来KOA的诊断与治疗提供新思路。
本刊刊出的所有论文不代表本刊编委会的观点，除非特别声明
骨关节炎是一种以关节软骨变性、破坏及骨质增生为特征的慢性关节病[1]。膝关节是临床上最常见的骨关节炎受累部位，故又称为膝关节骨性关节炎（knee osteoarthritis, KOA），主要危险因素为膝关节退行性病变、肥胖和损伤后遗症等，临床表现为膝关节疼痛，活动后加剧，肿胀、僵硬甚至关节变形等[2]。随着人口老龄化程度的加深，KOA发病率逐年升高，影响患者生活质量的同时给社会造成了严重的经济负担。因此，早期准确地诊断KOA对于该疾病的治疗和预后具有积极意义。MRI具有高软组织分辨率、无创、无辐射的特点，可清晰地显示膝关节内关节结构和软组织的变化情况[3]。临床研究发现，MRI对于KOA患者骨质增生和关节间隙狭窄的检出率分别为60%和70%，而对于关节内韧带损伤的检出率可达98%，表明MRI是目前临床诊断KOA可靠而全面的方法，具有良好的诊断价值[4]。
作为人工智能领域的分支，深度学习可以自动识别图像特征，卷积神经网络（convolutional neural network, CNN）模型善于通过深度学习对图像进行分析处理，其在医学中应用日益广泛[5]。在KOA的MRI图像处理中，深度学习主要用于膝关节MRI的图像分割、重建和合成等领域。提高图像分割的精确性和图像质量，通过对图像自动化识别和处理实现对KOA临床诊断效率和精度的提升，实现对KOA诊断以及严重程度分级是深度学习应用于膝关节MRI的主要任务，目前其在KOA中的研究已经取得了相当多的突破和进展，但尚未有较为系统全面的总结，本文旨在综述深度学习MRI在KOA的研究现状，并指出未来的发展方向，为其临床应用提供一定参考。
深度学习是具有多个表示层级的学习方法，通过组合简单非线性的模块获得，每个模块将一个层级的表示（从原始输入开始）转换为一个更高、更抽象层级的表示，有了足够多这样的转换组合，就可以学习非常复杂的函数[6]。深度学习的学习方法有两种，监督学习和无监督学习，每种方法都有不同的学习模型，监督学习的模型主要有CNN和多层感知机等，无监督学习的模型主要有自动编码器和深度置信网等[7]。监督学习分为两个阶段：学习阶段和测试阶段，在学习阶段进行特征提取以获得或识别信息量最大的特征，随后将深度学习模型拟合提取的特征，并获得最佳模型参数，在测试阶段主要训练模型对先前未看过到的样本（图像或从图像中提取的特征）的处理能力，然后对其进行分类[8]。
通过对猫视觉皮层细胞的研究，HUBEL等[9]在1962年提出了感受野的概念，在此基础上，FUKUSHIMA[10]在1980年提出神经认知机的概念，这是CNN的第一个实现网络。随后，LECUN等[6]采用基于梯度误差的算法训练了CNN，并在一些模式识别任务中展现了它的优越性能，这为CNN在图像识别中的应用奠定了基础。CNN具有鲁棒性、复杂程度低、易于训练等特点，在整个优化过程中可以通过减少参数而进行学习[11]。鲁棒性是指深度学习模型对噪声、扰动和异常值的容忍程度，拥有高鲁棒性的模型能够在各种非理想条件中保持良好的性能[12]。CNN的总体结构一般由输入层、卷积层、池化层、全连接层以及输出层5层组成[13]，卷积层的目的是学习输入的特征表示，由多个卷积单元组成，池化层的作用为压缩特征图，简化网络计算的复杂度。卷积层与池化层交替连接，构成了CNN的核心模块，全连接层用来输出最后的分类结果[14]。U-Net、LeNet、AlexNet、GoogleNet、ResNet、ZFNet、DenseNet、EfficientNet等都是目前主流的CNN模型[15]。
医学图像分割可以针对病变部位进行有效分割，快速地确定病灶部位和形态等特征。由于人体器官及其病灶的多样化、图像噪点和病灶形态各异等，精准的医学图像分割是一大难题。图像分割的评价指标主要有交并比（intersection-over union, IoU）、Dice相似系数（Dice similarity coefficient, DSC）、精度和召回、平均精度、F1评分、像素精度等[16]。IoU是指两个图像区域的重叠面积与并集面积的比率，衡量预测的边界框（或掩模）与真实边界框（或掩模）之间的相似性，是评估目标检测和分割算法性能的常用指标，DSC是一种用于衡量数据集相似性的评价标准，通过将分割区域与参考区域的交集大小与它们的并集大小相除来计算它们之间的相似性[17]，召回率的计算方法是将真正阳性像素的数量除以真正阳性像素和假阴性像素的总和，高的召回率值表示算法已正确识别了大部分属于正在被分割的对象的像素[18]。DU等[19]在2015年MICCAI会议上提出了U-Net，这是医学影像分割中深度学习的一个突破。U-Net是一种应用于生物医学图像分割的全卷积网络，由编码器、瓶颈模块和解码器组成，由于结合了上下文信息的U形结构、快速的训练速度和仅使用少量的数据信息，使之可以满足医学图像分割的需要[20]。目前图像分割在软骨、半月板、韧带和其他骨关节细微结构的分割中取得了较好的效果。于宁波等[21]基于深度学习，提出一种端到端的DRD U-Net。以残差模块作为基本模块，增加了对特征的复用能力，利用并行的扩张卷积模块获取不同的感受野，克服了U-Net模型单一感受野的局限性，提高了对不同大小目标的分割能力，设计多输出融合的深度监督模块，直接利用不同层次的特征实现了信息互补，提高了分割区域的连贯性和准确性，相比于基线U-Net和其他现有模型，该方法在膝关节股骨、胫骨、股骨软骨、胫骨软骨的分割方面都取得了更高的精度，DSC分别为98.56±0.3、98.57±0.34、89.68±2.54和85.38±4.13。BURTON等[22]使用半监督学习框架训练二维和三维的CNN，以自动分割膝关节的股骨、髌骨、胫骨和其对应的软骨，发现二维CNN的IoU和DSC分别为0.952和0.974，而三维CNN结合蒙特卡罗补丁的半监督分割模型效果最佳，DSC为0.989，IoU为0.978。在半月板和软骨MRI的图像分割方面，GAJ等[23]使用改良的生成对抗网络（generative adversarial networks, GAN）来提高CNN的分割性能，该网络包括生成器网络和鉴别器网络，将图像特征匹配添加到目标函数，使得生成的分割与鉴别器的中间层上的手动分割掩模的深度特征的期望值相匹配，使用对抗性训练在176幅三维双回声稳态（dual-echo steady state, DESS）膝关节图像上进行测试，发现对内外侧半月板分割的DSC分别达到了0.87和0.89，对髌骨软骨和胫骨软骨分割的平均DSC为0.88，展示了一种基于U-Net的条件CNN模型对膝关节软骨和半月板具有高精度的全自动分割方法。AWAN等[24]设计了基于语义分割技术和CNN的前交叉韧带MRI分割模型，对11451幅训练图像的准确率、IoU、DSC、精确率、召回率和F1得分分别为98.4%、99.0%、99.4%、99.6%、99.6%和99.6%，而对3817幅验证图像的准确率分别为97.7%、93.8%、96.8%、96.5%、97.3%和96.9%。
以上研究充分地体现了深度学习在图像分割中的巨大优势，对于膝关节骨、软骨、半月板、韧带的MRI图像分割已经具有较高的准确度，有着良好的临床运用前景，但也存在着相当多的局限性：主要体现在数据集图像标注的限制；对不同类别组织分割效果不平衡；对于图像边缘和细节的处理能力有限，容易产生模糊和错位；对膝关节的不同疾病和不同个体的泛化能力有限等。这是未来深度学习模型研发和训练过程中值得进一步关注的问题。
作为一种广泛应用的非侵入性医学影像技术，MRI数据采集和图像形成过程是一个相当漫长的操作。在这个重建过程中，患者需要静止不动，以获得高质量的图像，数据采集过程需要在重建质量和重建时间之间进行权衡。与传统分析方法相比，基于深度学习的MRI重建技术具有减少MRI采集时间和提高成像性能的能力。一项临床研究发现，深度学习使得膝关节MRI重建时间减少了将近两倍，并且在诊断的准确性和速度上不亚于传统的人工诊断[25]。尽管训练这些相当大的网络十分具有挑战性，但新的方法已经提高了实时进行MRI图像重建的能力。HAMMERNIK等[26]训练了一个变分网络模型加速基于平行成像的膝关节MRI重建，结果发现其对单个图像的重建时间为193 ms，并且该网络一经训练完成后不再需要调整参数，可以较快地投入临床应用。YANG等[27]提出了一种基于GAN的深度学习框架的压缩感知MRI重建策略，弥补了传统非学习方法仅处理单幅图像数据与大规模训练数据集的先验知识之间的巨大差距，它提供了一个端到端的网络来减少混叠伪影，可以更好地保持图像的纹理和边缘，加快了重建速度（在CPU上每幅2D图像时间大约0.2 s，在专用GPU上为5 ms）。CHAUDHARI等[28]利用MRI超分辨率方法增强具有三倍层厚的低分辨率DESS扫描的切片分辨率，从而定量骨关节炎的生物标志物，以便短时间内获得高分辨率的图像，加速图像重建。
除了提高MRI图像的重建速度，在图像重建质量的提升中，深度学习也表现出较强的潜力。HERRMANN等[29]研究深度学习在1.5 T和3.0 T二维涡轮自旋回波MRI图像重建中的作用，发现与标准二维涡轮自旋回波MRI图像相比，深度学习加速后，图像质量和信噪比显著提高，对于半月板和韧带损伤的识别效果与人工识别不相上下。近年来，人工智能-压缩感知（artificial intelligence compressed sensing, ACS）技术的整合为图像重建提供了新思路，压缩感知（compressed sensing, CS）是一种用于信号处理和数据压缩的技术，能够从少量测量值或样本中重建信号，可以减少重建图像所需要的测量次数，而人工智能则能提高图像重建的质量[30]，潘珂等[31]研究发现，CS 2.0序列可将扫描时间缩短16%；ACS能够进一步缩短扫描时间，最大可应用加速因子ACS 3.0将扫描时间缩短57%，是国内外首次联合多个加速因子的CS及ACS加速序列图像与经典加速采集技术进行比较。最近一项研究将深度学习与CS相结合，发现与4个信号平均数比较，1个信号平均数结合深度学习可以降低图像噪声、提高图像信噪比；在图像清晰度方面，除了骨组织外，其在软骨和半月板的成像表现均优于4个信号平均数下的成像效果[32]。
综上所述，深度学习MRI可以有效缩短膝关节MRI图像重建时间和提高图像重建质量，在低磁场强度下获得的MRI图像经过深度学习重建后能与高磁场强度下获得的图像质量相媲美，这对于提高临床诊断精度，减轻患者经济负担具有重要价值，如果在等级较低的医疗机构应用相关技术将大有裨益。
医学图像合成的目的主要在于扩充数据集和模拟成像，融合不同模态的医学影像信息可以有效提高临床诊断精确度。多模态影像数据的获取需要借助图像合成技术，深度学习具有强大的再生能力，在医学成像技术的辅助下，可以将已有图像合成为所需要的医学图像，解决图像数据稀缺的问题。GAN是医学图像合成的重要工具，由GOODFELLOW等[33]提出，由发生器网络和鉴别器网络组成，鉴别器可以将输入图像区分为真实图像和合成图像，生成器的作用是生成接近真实的图像，作为一种基于博弈论的生成模型，其在生成真实数据，特别是图像方面取得了巨大成功[34]。DENCK等[35]训练基于MRI采集参数时间和回波时间的图像到图像的GAN，合成了能够调节对比度的MRI图像，在公开膝关节MRI数据集中测试了模型，结果显示在非脂肪饱和MRI图像转化成脂肪饱和MRI图像方面，该模型获得了24.48的信噪比和0.66的图像相似性，优于pix2pix基准模型。FRID-ADAR等[36]使用深度学习GAN合成肝脏病变医学图像，并利用经典数据增强和合成数据增强训练CNN，结果发现使用经典数据增强的分类敏感度为78.6%，特异性为88.4%，使用合成数据增强的敏感度提高至85.7%，特异性提高至92.4%。LIU等[37]提出了骨边缘引导的生成对抗网络从常规胸部X光扫描图像中产生双能量减影软组织图像，提高肺结节的检出率，结果发现，与经典的深度学习方法比较，边缘引导的对抗生成网络可以生成高分辨率的双能量减影软组织图像。骨关节影像的图像合成更多的是通过MRI图像合成CT图像完成骨骼分割等任务，因为与MRI图像比较，CT图像的骨骼成分更加清晰。ZHAN等[38]提出了一种基于解耦双特征表示GAN的方法用于交叉模态的MRI合成，与单一编码器提取医学图像合成中常见的潜在表征不同，该网络遵循图像分离的思想，将图像分为基础信息和表征信息两个不同的信息层次，并采用两种不同的编码结构进行提取，实验结果表明，该方法在定性和定量方面均优于现有的图像合成方法。
总之，膝关节图像合成可以为深度学习模型生成额外的训练数据，当数据集大小有限时，图像合成对于数据集的扩充、提高模型的精度是尤为重要的，而随着训练数据集的不断扩大，其在图像分割和重建方面表现出的效果就会越好；此外，通过生成具有已知分割结果的合成图像，可以评估和改进图像分割算法的准确性；再次，图像合成有助于膝关节结构的重建，有助于图像的可视化。因此深度学习在图像分割、重建以及合成中的应用是相辅相成的，并不是各自孤立的。
MRI作为诊断KOA的有效手段，相比于X光机和CT有其独特的优势，MRI对膝关节的结构，特别是软骨、滑膜、半月板、韧带等的显示更全面更清晰，而KOA早期常常表现为软组织损伤，骨破坏并不明显，因此MRI有利于早期诊断，对于KOA的预后有着重要意义。深度学习在KOA的MRI诊断中表现出显著的优势。最近一项KOA预测挑战赛结果显示，在23个参赛参数模型中，受试者工作特征（receiver operating characteristic, ROC）曲线下面积最大的为0.64，平衡精度最大的为0.59，该模型结合了X线特征、MRI特征以及临床变量[39]。有研究使用深度学习对0.55 T MRI涡轮自旋回波序列进行重建，与1.5 T MRI相比，深度学习能提高图像质量，在半月板和软骨的诊断方面与1.5 T MRI水平相当，但深度学习图像重建无法完全弥补0.55 T MRI的信噪比[40]。HU等[41]提出了一种基于改进的多尺度宽残差网络模型的图像超分辨率算法，并将其结合不同MRI序列用于评估其在KOA中软骨损伤的应用效果，发现与其他模型比较，该模型在图像重建中结构相似相和峰值信噪比最高，分别为0.956和38.87，而其与三维DESS序列结合对于KOA的诊断性能最佳。最近一项前瞻性研究显示[25]，使用298幅膝关节3.0 T MRI图像对一个深度学习重建模型进行训练，随后在170名患者的膝关节MRI图像中进行检测，以6名放射科医生的审阅结果为对照，发现模型在软骨、半月板和韧带等结构损伤的诊断效果良好，且节省了将近两倍的时间。另外一项研究应用深度学习方法结合临床变量预测12个月内膝关节间隙缩小的程度，在三维DESS图像中，该模型获得了65%的ROC曲线下面积评分，比放射科医师获得的评分更高，展现了深度学习预测KOA进展的能力[42]。
目前对于KOA的分级大多是参考凯尔格伦-劳伦斯（Kellgren-Lawrence, KL）量表，KL量表将骨关节炎分为五级，0分表示正常膝关节，可能存在关节间隙狭窄和骨赘形成评分为1，可能存在关节间隙狭窄和明确的骨赘形成评分为2，有多个骨赘形成、确定存在关节间隙狭窄并伴有硬化症评分为3，严重的硬化症、关节间隙严重狭窄和大骨赘评分为4[43]。GUIDA等[44]将3D CNN模型用于KOA的分类，在1100个膝关节MRI数据集中检验其准确性，发现对于是否为KOA的分类检测准确性为86.5%，依据KL量表的分类准确性为54%，提示了CNN在评估KOA严重程度中的潜力。TOLPADI等[45]引入3D DenseNet，从MRI图像中进行KOA严重程度预测以及膝关节置换术风险预测，这是一个基于KOA严重程度应用3D CNN预测膝关节置换术风险的研究，结果发现，在该模型中，MRI图像输入优于X线图像的输入。PEDOIA等[46]使用2D U-Net自动分割软骨和半月板，使用3D CNN自动检测软骨和半月板的损伤程度，实现对KOA严重程度的分级。AROUCHE NUNES等[47]应用两种3D V-Net方法优化11个分割任务，同时鉴定软骨病变和骨髓水肿，实现一种新的多任务KOA检测方法，其准确率为86.7%。前十字交叉韧带损伤作为KOA的危险因素之一，ZHANG等[48]基于3D DenseNet结构，构建了一个分类CNN，然后测试其与其他两种算法VGG16和ResNet的区别，发现该网络的准确率、特异度和敏感度均显著升高，表明使用基于深度学习的自动监测系统评估前交叉韧带损伤具有可行性。NAMIRI等[49]训练了一个端对端的CNN来分类4791例骨关节炎，检测参与者的膝关节MRI图像中骨、半月板/软骨、炎症以及肥大表型，评估了基线表型与48个月KOA发生率的关系，结果发现骨、半月板/软骨、炎症和肥大表型神经网络分类器曲线下面积分别为0.89±0.01、0.93±0.03、0.96±0.02和0.93±0.02，说明该网络能良好预测表型与KOA发生的关系。
综上所述，深度学习MRI在KOA的预测、诊断和严重程度评估方面的具体实践应用上效果良好，能够显著提高诊断KOA的准确性和速度，弥补人工诊断造成的误差，特别是在KOA早期病变不显著的情况下，深度学习通过对微小病变的识别判断，实现早发现、早治疗，这对于KOA的预后具有积极意义，但目前较少有研究结合多模态图像资料对深度学习模型进行训练，使得模型的鲁棒性差强人意，这是未来模型训练应该关注的方向。
本研究总结了近两年深度学习MRI在KOA中的研究进展，对现有研究存在的局限性进行了探讨，指出了未来深度学习在MRI领域应用的研究方向。深度学习对于KOA的MRI图像处理具有独特优势，在图像分割、重建、合成等方面的应用逐渐深入，对于膝骨性关节炎的临床诊断、严重程度的判断，提高临床诊疗水平和效率具有积极意义，但目前深度学习技术的广泛应用仍存在一定局限性：（1）数据集相对较小，数据质量不高。虽然膝骨性关节炎的医学影像资源十分丰富，但有效训练数据仍难以满足临床实际需求，需要专业医师进行数据标注，势必会花费大量时间，且图像质量良莠不齐，即便增加数据量也难以应用于研究，但也有研究发现[50]，当数据集过于庞大时反而会降低模型的泛化能力，因此如何在保证数据质量的同时提高数据多样性可能是未来努力的方向。迁移学习使用已经在较大数据集上训练的预训练模型作为在较小数据集上训练新模型的起点，这种方法可以帮助减少训练数据量[51]，而正则化可以防止模型过度拟合数据集，从而提高模型的泛化性能，随着半监督学习技术的发展，数据集的大小和质量问题将得以进一步完善。（2）深度学习通常被称为“黑匣子”，因此其可读性与解释性较差，现在大多数模型是端到端实现，缺乏合理解释和判断依据。（3）诊断程度有限，对骨关节炎疾病的分期和严重程度的诊断还不够精确，大多数模型只能停留在定性层面。（4）应用成本较高，尽管深度学习可以减轻临床医务工作者的负担，提高工作效率，但其对计算器性能有着较高要求，并非所有医院硬件设施均能满足条件，因此，尽管已经有很多研究表明深度学习在医学方面有很高的应用价值，但真正被投入使用的案例并不多，但随着技术的成熟，深度学习的进一步应用指日可待。
未来人工智能的使用成本会逐渐降低，应用领域会更加广泛，特别是近两年来，随着更多先进学习模型的推出，使其应用于解决实际问题变得更加触手可及。针对目前深度学习MRI存在的问题，将深度学习整合不同模态的影像学资料，建立更加全面、准确的模型，对深度学习模型进行迁移学习，提高模型训练的速度，避免重复训练造成的工作量增加，是提高模型泛化能力的重要途径；参考国外经验如骨关节炎倡议（Osteoarthritis Initiative, OAI），因地制宜，建立符合我国人群疾病特征的骨关节炎数据库，加强医疗机构与科研院所的合作交流，促进成果转化等，这些都是促进深度学习MRI具体实施的努力方向。总之，深度学习为KOA的诊治提供了新的思路与方法，也是未来医学影像学的大势所趋，随着模型的不断优化与升级，深度学习定能在临床诊疗中展现出更大的优势。
高曦, 谢希, 王文韬. MRI深度学习在膝关节骨性关节炎中的研究进展[J]. 磁共振成像, 2023, 14(6): 192-197.
GAO X, XIE X, WANG W T. Research progress of osteoarthritis of the knee using MRI: based on deep learning[J]. Chin J Magn Reson Imaging, 2023, 14(6): 192-197.
Natural Science Foundation of Heilongjiang Province (No. LH2021H092).
全体作者均声明无利益冲突。
