骨和软组织肿瘤发生于肌肉骨骼系统，骨和软组织恶性肿瘤占所有人类恶性肿瘤的0.2%，如不及时诊断和治疗，患者可能面临预后较差的风险。图像判读在骨和软组织肿瘤诊断中起着越来越重要的作用，人工智能可用于整合临床肿瘤学中的大量多维数据，推导模型并预测结果，改善治疗决策。其中，深度学习是人工智能中常用的方法之一，其主要采用卷积神经网络，卷积神经网络通过对数据集进行反复训练和参数的迭代调整来得到最终模型。基于深度学习的人工智能模型已成功应用于骨和软组织肿瘤领域的多个方面，包括图像分割、肿瘤检测与分类、肿瘤分级与分期、化疗效果评估以及复发与预后预测等。文章介绍了人工智能在骨、软组织肿瘤医学图像诊断与治疗中的应用原理和现状，并广泛探讨了此领域目前面临的挑战和未来的前景。
版权归中华医学会所有。
未经授权，不得转载、摘编本刊文章，不得使用本刊的版式设计。
除非特别声明，本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。
骨和软组织肿瘤发生于肌肉骨骼系统，骨和软组织恶性肿瘤仅占所有人类恶性肿瘤的0.2%［1］。大多数患者的非特异性病史或临床表现使骨和软组织肿瘤早期诊断困难，如果不及时诊断和治疗，患者可能面临预后较差的风险。尽量实现早期诊断对骨和软组织肿瘤的治疗至关重要，图像判读在其诊断中起着越来越重要的作用，目前迫切需要更全面和具体的分析工具来检测罕见的骨和软组织恶性肿瘤。近年来，人工智能对科学的各个领域产生了巨大的影响。机器学习和深度学习代表了人工智能的不同发展阶段，在图像自动化分析任务中深度学习模型的性能取得突破性提高，对放射学有非常重要的影响。目前人工智能已广泛应用于某些恶性肿瘤（如肺癌或乳腺癌）的影像学诊断［2］，但这些方法在骨和软组织肿瘤研究中的应用仍然非常有限，由于此类肿瘤相对罕见且高度多样化，因此它们对人工智能模型开发特别具有挑战性。
1. 基本概念：人工智能是计算机科学的一个分支，主要目标是提高人类执行任务的自动化水平。机器学习是人工智能的一个子领域，在医学成像领域，机器学习被用于根据输入的数据和现有的算法来训练模型，从患者的医学影像中提取特征信息，学习如何做出决策，以最大限度地减少误差并提高预测准确性。深度学习则是机器学习一个新的发展阶段，旨在模拟大脑中生物神经网络架构的计算模型和算法，从而用于表征数据特征，需要更高的计算能力支撑［3］。影像组学是医学成像分析技术发展的新产物，于2012年由荷兰学者正式提出，通常是指从多种医学影像图像（如X射线平片、CT或者MRI等）中提取大量高级量化影像学特征，构建与基因表达相关的描述和预测性模型，用于疾病的定性、疗效评估和预后预测等。在肿瘤学中，影像组学特征可以反映肿瘤异质性，被广泛用于辅助恶性肿瘤诊断、肿瘤分级分期、预后和预测对治疗的反应。
在放射学方面，研究者们对卷积神经网络（convolutional neural network，CNN）更为关注，它依赖于相邻像素值的加权和。这些卷积的权重需要进行优化，以在特定任务上“训练”CNN。对于图像分割模型，使用Dice相似系数（Dice similarity coefficient，DSC）来评估分割方法的有效性和准确性。对于肿瘤分类模型，常见的性能度量参数是受试者工作特征曲线下面积（area under curve，AUC），其中1.0代表该模型是一个完美的分类模型。
2. 基本步骤：典型的医学图像深度学习模型通常包括3个步骤。第1步是图像预处理，选择决策所需关键信息的特征以进行图像挖掘和分析，然后对图像上感兴趣的区域进行框选，以便于进一步分析。接下来将现有数据按照适当的比例（通常为70%∶20%∶10%）分为3个子集：训练、验证和测试数据集。第2步是在训练数据集上训练深度学习模型，通过比较输出预测和目标输出来评估损失函数，更新模型的参数。重复上述步骤，直到损失函数达到最小值［4］，CNN是最常用的深度学习网络，典型的CNN模型由卷积层、池化层、激活函数和全连接层组成。CNN直接将图像作为输入，对其进行转换，最后输出该图像的基于类的似然值。通常，在基于CNN的深度学习模型中，数据处理分为3个步骤：首先，卷积层通过多次卷积计算得到一组线性变换输出；其次，激活函数是应用于线性运算输出的非线性函数，在神经网络层中，通常作为选择函数允许一些特征传递到输出；最后，使用池化函数将特征映射激活为低分辨率的特征映射，进一步调整卷积层的输出。然而，深度学习模型通常被称为“黑匣子”，因为它们难以解释图像和特征之间的联系［5］。最后一步是在测试数据集上客观地评估所开发模型的性能。需要注意的是CNN模型需要在大量数据集上进行训练，否则训练数据集的准确性会超过验证数据集的性能，也就是“过拟合”［6］，因此许多研究使用多个数据集来综合测试新算法的性能，以降低过拟合的风险。
1. 肿瘤影像分割：深度学习在肿瘤的图像分割和体积计算方面具有广泛的应用，将图像分割成多个部分，每一个部分可以代表1个细胞、1个组织、1个器官或1个疾病过程［7］，可以使用深度学习算法在一定程度上实现自动化［8］。肿瘤的精确分割使医师能够了解肿瘤的具体情况，然而许多肿瘤的边缘并不明显，因此其分割通常是相当困难的。
研究表明，基于CNN的深度学习方法可以显著提高分割精度，然而CNN存在较高的计算冗余，且不能同时关注图像的全局和局部特征，需要一个后处理过程。Shelhamer等［9］提出了一种更直接的全卷积网络（fully convolutional networks，FCN）用于图像分割，可以直接输出与原始图像大小相同的分割图像，不需要任何后处理程序。Ronneberger等［10］基于FCN开发了U-Net，自2015年推出以来，U-Net已经成为最知名的医学图像分割人工智能模型，延伸了许多不同的变体，以进一步提高性能。然而，FCN和U-Net都只有1个监督输出层，在训练过程中网络的引导不够，经常导致错误分割。Huang等［11］提出了一种基于具有多个监督侧输出层的全卷积网络（multiple supervised fully convolutional network，MSFCN）肿瘤自动分割方法，有3个有监督的侧输出层来捕获局部和全局图像特征，对骨肉瘤的CT图像进行分割，肿瘤的最终边界由所有侧输出的结果确定。与U-Net等方法相比，MSFCN在DSC（87.80%）、灵敏度（86.88%）、平均汉明距离（19.81%）和F1-measure（0.908）4个指标上表现最佳。
U-Net具有较强的局部特征提取能力，但缺乏全局特征信息；Transformer更适合全局特性，但缺乏局部特性［12］，二者的结合可以合并两者的优点。例如Liu等［13］提出了一种基于二者结合的骨肉瘤MRI图像分割方法，该模型还包括数据集优化、模型分割、边缘改进和组合损失函数。实验结果表明，该方法分割性能优于现有的分割方法，更好地降低肿瘤组织与周围组织之间细微灰度差异导致的分割误差，提高分割的准确性。
图像分割目前仍然是肿瘤学临床实践中的一个重要组成部分，表1是近些年深度学习模型在骨肿瘤图像分割领域应用的研究进展。在不同时间点利用深度学习模型从基线开始跟踪病变，有效地监测体积变化，并在治疗前、治疗期间和治疗后进行定量分析，以评估治疗反应，还可以帮助预测预后终点。然而由于深度学习技术尚未广泛应用于临床并替代人工，目前的共识是通过计算机模型辅助边缘检测，然后在此基础上进行手动分割，可以实现最佳的分割。深度学习在骨肿瘤图像的处理效率方面具有优势，但其对骨肿瘤图像识别的准确度有待进一步提高，对于较小的骨肿瘤区域，自动分割方法需要大量数据进行模型优化。U-Net与Transformer的结合与不断改进，是近年来的研究热点。
深度学习在骨肿瘤图像分割中的研究
2. 肿瘤检测与分类：鉴别骨肿瘤的良恶性是临床上的首要问题。深度学习主要使用X射线、CT和MRI图像用于对骨肿瘤的检测和分类，而超声主要用于软组织肉瘤的检测和分类。2020年，He等［19］开发了一个CNN模型，该模型通过分析来自5个机构的病理数据库中1 356例原发性骨肿瘤患者的2 899张X射线平片，自动分为良性、中度或恶性，模型对恶性/非恶性分类的准确率高达91.6%。在另一项准确度更高的研究中，Do等［20］开发了CNN模型来确定膝盖骨区域是正常组织还是恶性肿瘤，该模型包括分类、肿瘤分割和高危区域分割部分，并应用于1 576张X射线平片，分类任务的准确率为99%，为医师诊断膝关节骨肿瘤做出了重要贡献。这些研究表明影像组学在骨肿瘤鉴别诊断中有较大价值。
近期有研究显示，Liu等［21］开发了一种深度学习和机器学习融合模型，不仅基于常规X射线平片，还结合了一些潜在相关的临床数据，包括血沉率、年龄、性别、位置、红肿充血、肿胀、发热、疼痛、可触摸的肿块和运动障碍，将肿瘤分为良性、恶性或中度肿瘤。该研究共纳入了643例患者的982张X射线平片，在测试集中，融合模型在二元分类任务包括良性/非良性、恶性/非恶性、中等/非中等的AUC为0.865~0.898，在三分类任务中平均AUC为0.872，放射科医师的平均AUC为0.819。深度学习模型在一定程度上可以帮助放射科医师进行骨肿瘤的鉴别诊断，相关研究见表2。既往研究表明，在影像学图像的基础上加入更多临床信息的模型，其表现优于单独图像深度学习模型，表明结合临床信息对模型的性能有一定的提高作用。随着图像处理技术的发展，将会有更多信息加入到深度学习模型中，使研究者们能够设计精确度更高的分割方法，这也是改良深度学习模型的一个方向，充分挖掘深度学习模型的潜力，发挥医工结合优势。
深度学习在骨肿瘤鉴别诊断中的研究
深度学习在骨肿瘤鉴别诊断中的研究
| 文献及发表年份 | 例数 | 肿瘤类型 | 显像模式 | AUC | 结果 |
|---|---|---|---|---|---|
| Li等［22］2019年 | 210 | 脊索瘤、软骨肉瘤 | MRI | 0.87 | 脊索瘤和软骨肉瘤 |
| Dai等［23］2020年 | 210 | 脊索瘤、巨细胞瘤 | MRI | 0.77~0.88 | 骨肉瘤和尤文肉瘤 |
| Wang等［24］2020年 | 419 | 多发软组织肿块 | 超声 | 0.91 0.86 0.68 0.73 | 良性和恶性 脂肪瘤和其他 神经鞘瘤和其他 血管畸形和其他 |
| Hong等［25］2021年 | 177 | 成骨细胞转移瘤 | CT | 0.96 | 骨岛和成骨细胞转移瘤 |
| Eweje等［26］2021年 | 1 600 | 原发性骨肿瘤 | MRI | 0.82 | 良性或恶性病变 |
| von等［27］2022年 | 880 | 原发性骨肿瘤 | X线 | 0.90 | 良性或恶性病变 |
| Liu等［28］2022年 | 585 | 脊柱肿瘤 | MRI | 0.839 | 良性或恶性脊柱肿瘤 |
| Park等［29］2022年 | 538 | 股骨近端骨肿瘤 | X线 | 0.953 | 正常，良性或恶性病变 |
| Li等［30］2023年 | 1 430 | 原发性骨肿瘤 | X线 | 0.813 | 正常，良性，中度或恶性病变 |
| Chen等［31］2023年 | 786 | 股骨和胫骨肿瘤 | CT | 0.97 | 良性，中度或恶性病变 |
注：AUC为曲线下面积
3. 肿瘤分级与分期：在肿瘤患者中，最佳治疗方式很大程度上取决于瘤体的大小、位置和侵袭性的测量评估，称为肿瘤分级。在目前的临床工作中，为了确定肿瘤分级，治疗前需要进行侵入性活检。近年来已有研究在小到中等数量数据集上利用影像学图像预测患者的肿瘤分级（表3），将肉瘤等级分为高等级和低等级可以一定程度上帮助医师制定诊疗计划，减少有创检查，并提高对预后的预测准确性。研究结果表明，影像组学与深度学习结合可以辅助骨肉瘤分级，具有辅助医师针对性地选择不同治疗方案的潜力。目前肌骨系统肿瘤的深度学习模型分级局限于软组织肉瘤领域，虽然在原发性骨肿瘤中还没有类似的研究，但这可能是潜在的研究方向。使用更大的数据集对于提高模型的重现性和可推广性或许是一个较好的突破点，另外，如果可以将肿瘤的分级更加细化，能带给临床医师更多的指导作用。
深度学习在软组织肉瘤分级中的研究
深度学习在软组织肉瘤分级中的研究
| 文献以及发表年份 | 例数 | 肿瘤类型 | 显像模式 | AUC | 结果 |
|---|---|---|---|---|---|
| Zhang等［32］2019年 | 35 | 软组织肉瘤 | MRI | 0.92 | 低或高级别 |
| Peeken等［33］2019年 | 225 | 软组织肉瘤 | MRI | 0.78 | 低或高级别 |
| Xu等［34］2020年 | 70 | 软组织肉瘤 | MRI | 0.92 | 低或高级别 |
| Wang等［35］2020年 | 113 | 软组织肉瘤 | MRI | 0.96 | 低或高级别 |
| Navarro等［36］2021年 | 206 | 软组织肉瘤 | MRI | T1加权：0.75 T2加权：0.76 | 低或高级别 |
| Yan等［37］2021年 | 180 | 软组织肉瘤 | MRI | 0.916 | 低或高级别 |
| Yang等［38］2022年 | 540 | 软组织肉瘤 | MRI | 0.87 | 低或高级别 |
| Guo等［39］2024年 | 366 | 软组织肉瘤 | MRI | 0.819~0.838 | 低或高级别 |
注：AUC为曲线下面积
骨肿瘤分期是评估患者预后并对肿瘤局部和远隔转移危险程度进行分类的过程，对于确定患者的治疗方案非常重要。恶性骨肿瘤分为Ⅰ期（低度恶性）、Ⅱ期（高度恶性）和Ⅲ期（有转移），其中Ⅰ、Ⅱ期肿瘤再分为间室内（A）和间室外（B）肿瘤，肿瘤无论分级高低，间室内或间室外如有转移均属Ⅲ期。恶性骨肿瘤随着病情的进展与好转，其分期也会随病程而改变。目前深度学习和影像组学在肺癌分期领域具有较大的突破进展，而在骨肿瘤的分期方面还缺少类似研究，但基于肿瘤的分类、分级、图像分割等研究，深度学习和影像组学可以为骨肿瘤分期提供大量可靠信息，其应用价值需要更多基于不同类型影像的模型研究来验证。
1. 骨肉瘤化疗效果评估：骨肉瘤是最常见的原发性恶性骨肿瘤，其标准治疗包括术前化疗和切除术。由于肿瘤异质性，提早并准确了解患者对新辅助化疗的敏感性，对监测治疗效果、优化后续治疗方案以及预测预后非常关键。目前临床上根据多个病理切片进行肿瘤坏死率（坏死肿瘤/总肿瘤的比率）的评估，非常复杂且耗时，故而许多骨肉瘤影像组学的研究着眼于骨肉瘤化疗反应的预测。近年来，人工智能领域开发了一些方便、无创的方法，把对新辅助化疗不同治疗效果的患者分为预后较好的有反应者（肿瘤坏死率≥90%）和预后不好的无反应者（肿瘤坏死率＜90%）。2020年，Huang等［40］进行的一项初步研究应用机器学习首次探索了增强MRI与术后病理特征之间的潜在相关性，预测骨肉瘤患者化疗后的肿瘤坏死率。最近，Ho等［41］开发了一种基于深度学习的方法，扫描HE染色全玻片图像的结果，在像素级别计算坏死率，并与病理报告中手动评估的坏死率进行比较，验证了该深度学习模型的准确性，并且该模型对患者进行分层，以更客观的方式预测5年生存率和无进展生存率。由于观察者内和观察者间的变异性影响手动和半定量估计坏死率，因此采用基于深度学习的模型对坏死率可以进行更客观地评估，为评估骨肉瘤患者的化疗后效果和预后结果等研究提供一个新思路。
2. 手术后肿瘤复发与预后预测：预测骨肿瘤手术后复发的风险是备受关注的问题。骨肿瘤刮除术的治疗比整体切除术的侵袭性更小，但复发率和转移率增加，因此根据术前医学图像预测肿瘤术后局部复发至关重要，骨肿瘤预后研究中所纳入的预后指标包括转移、术后复发和5年生存率、总生存率等。He等［42］开发了一个基于CNN的深度学习模型，整合了肿瘤位置、患者年龄和CNN预测，利用术前MRI预测骨巨细胞肿瘤的局部复发，预测的准确度和灵敏度远高于放射科医师。在软组织肉瘤的术后复发方面，深度学习的研究则更为深入广泛。例如2022年中国学者建立的模型，利用深度学习和影像组学特征来预测接受切除的软组织肉瘤患者的复发风险，经过外部验证并且与分期分级系统和其他研究的统计模型进行模型比较，证明了其在复发预测中的有效性与可靠性［43］。该研究还将软组织肉瘤复发分为3个风险等级（低，中和高），以促进临床中更有针对性的术后管理。以上研究表明，深度学习模型与临床特征相结合，在预测肿瘤复发从而指导临床决策方面具有巨大潜力，可作为一种预测骨肿瘤复发情况的非侵入性的量化工具。此外还有研究使用机器学习模型对骨肉瘤患者的1年生存率进行预测，获得较为可靠的结果［44］。
首先，大数据对肿瘤临床研究有非常重要的意义，然而骨肿瘤的发病率和患病率相当低，因此单一医疗机构的病例数据量比较少，全国范围的骨肿瘤登记系统及大数据库仍然是空缺，因此大多数研究的局限性主要是样本量太小，无法应用深度学习算法进行可靠的训练，只能在小数据集上验证其结果，这也是限制目前研究进展的最大问题，未来可扩大样本量并提高结果可信度的多中心研究或可解决该问题。第二，图像标注是用于培训和评估阶段的“金标准”，需要临床医师根据临床经验手动标记大量的输入输出对，这是相当耗时且难以实现的。第三，由于骨病变位置的多变性和形状不均匀，骨肿瘤分割的全自动化比其他解剖区域（肺）更难实现［45］。第四，目前缺乏图像标准化以及使用不同算法构建模型，使研究的可重复性较低还不能将其应用于临床诊疗中。最后，大多数已发布的模型都是为处理各种单幅图像而设计的。然而，从几个图像序列中提取的特征可以组合起来以提高模型的性能，例如，医师需要结合临床参数、放射学和病理图像来实现骨肉瘤的诊断。
研究者们需要解决以下几个问题：（1）实现高精度的全自动骨肿瘤分割；（2）通过选择重复特征来控制过拟合；（3）按具体诊断进行病变分类，而不是单纯的良/恶性或良/中/恶性；（4）创建大型公共图像数据库，现有研究尝试通过国际合作建立全面的影像组学与深度学习工作流程，提供经过验证的常用特征定义以及特征提取和图像处理步骤的基准测试及报告指南，但该研究仍需要更多研究来进一步完善［46］。
恶性骨肿瘤肺转移是患者死亡的主要原因，近年来，深度学习方法被应用于肺部转移病灶的检测和分类［47］。随着高通量测序技术的发展以及深度学习在基因组学领域的应用，基于深度学习模型的基因表达预测成为研究热点，在肺癌等几种肿瘤中表现良好［48］，但目前尚未对骨肿瘤进行相关研究，这可能是未来一个很有前景的发展方向。另外不单是影像学图像与基因分析，深度学习还需要与组织病理及免疫组化等多方面信息相融合。
综上所述，已经有各种研究将深度学习方法应用于骨和软组织肿瘤的影像诊断，其中许多模型在图像分割、肿瘤检测与分类、分级与分期、化疗效果评估和术后复发与预后预测等方面都表现出了优异的性能。尽管研究取得了重大进展，但目前仍面临许多技术挑战，需要开发新的深度学习模型以实现更高的诊断准确性并指导治疗。
所有作者声明无利益冲突
