
探索基于多参数MRI影像组学特征融合的新型预测模型在高级别胶质瘤(high-grade glioma, HGG)和单发性脑转移瘤(solitary brain metastasis, SBM)中的鉴别价值。
收集121名(61名HGG和60名SBM)患者的多参数MRI扫描图像,在常规轴位MRI图像[T1WI、T2WI、T2加权液体衰减反转恢复(T2-weighted fluid attenuated inversion recovery, T2_FLAIR)和T1WI增强图像(post-contrast enhancement T1WI, CE_T1WI)]上勾画了肿瘤实性强化部分的体积(tumor volume of enhancement region, VOIET)。通过合并HGG和SBM的类别信息,对不同MRI序列提取的影像组学特征进行融合,并定量比较了不同MRI序列及其组合的性能。
从T1WI和T2_FLAIR序列中提取的图像特征的融合比来自其他单一序列或组合的特征具有更显著的预测性能,实现了受试者工作特征曲线下面积、准确率、敏感度和特异度分别为0.946、86.4%、84.1%和88.7%的良好鉴别性能。
基于多参数MRI影像组学特征的融合模型通过整合肿瘤的多序列MR图像信息,可以实现对HGG和SBM的无创、高效鉴别。
本刊刊出的所有论文不代表本刊编委会的观点,除非特别声明
原发性高级别胶质瘤(high-grade glioma, HGG)和颅内转移瘤是成人中常见的恶性脑肿瘤[1, 2],两种肿瘤之间的无创区分有助于选择合适的治疗方案和临床管理策略[3, 4]。然而,仅根据MRI的影像学特征将HGG与单发性脑转移瘤(solitary brain metastasis, SBM)区分开来仍然具有挑战性,因为HGG和SBM通常具有相似的影像学表现,例如肿瘤实性部分不均匀强化伴肿瘤中心坏死和瘤周水肿[5, 6]。
既往研究探索了各种定量MRI技术,如扩散加权成像(diffusion weighted imaging, DWI)、扩散张量成像(diffusion tensor imaging, DTI)、动态对比增强、动态磁敏感对比灌注、动脉自旋标记灌注和磁共振波谱,旨在挖掘更多隐藏的成像信息,这将有助于揭示HGG和SBM之间的生理和代谢差异[7, 8, 9, 10, 11]。虽然以往研究取得了不错的结果,但由于这些MRI技术在常规MRI扫描方案基础上会产生额外费用且增加扫描时间,一定程度上限制了其在临床实践中的应用。
近年来影像组学广泛地应用在肿瘤的诊断、预后和治疗反应预测方面[12, 13]。以往的许多研究采用影像组学基于传统的MRI序列或更先进的MRI技术,如DWI、DTI、氨基质子转移成像(amide proton transfer, APT)等来鉴别HGG和SBM[14, 15, 16]。这些研究表明挖掘更多肉眼几乎无法捕捉到的隐藏图像纹理有助于鉴别HGG和SBM。然而,上述方法只对单个MRI序列进行影像组学分析,例如增强T1WI、表观扩散系数(apparent diffusion coefficient, ADC)、DTI[14,17, 18],或多序列简单对比[15,19]。事实上,不同的MRI序列可以看作是从不同角度描述肿瘤的多模态图像,融合来自多个MRI序列的图像信息可以更好地表征肿瘤特性,并且理论上会增强影像组学模型的分类性能。然而到目前为止,尚无研究尝试融合从多个MRI序列中获取的影像组学特征来鉴别HGG和SBM。
基于此,本研究创新性地提出并使用了一种新的基于特征融合的预测模型,以融合来自多个MRI序列的多模态影像组学特征,并将融合后的新特征输入到分类器中训练来评估模型的预测性能。最后通过与单个MRI序列特征的预测性能进行比较验证所提出模型的有效性,以期得到融合多个MRI序列的影像组学特征的融合模型。该方法可反映肿瘤的异质性,在患者临床病史及辅助检查不全的临床工作情况下,该模型有望成为计算机辅助鉴别HGG与SBM的有效工具。
回顾性分析2007年9月至2020年9月期间于广州市第一人民医院(华南理工大学附属第二医院)经组织病理学证实为HGG或SBM的121名患者(61名HGG和60名SBM)资料。本研究遵守《赫尔辛基宣言》,并经广州市第一人民医院伦理委员会批准,免除受试者知情同意,批准文号:K-2019-012-01。病例纳入标准:(1)术前均经MRI平扫和增强检查;(2)经组织病理学检查证实为HGG或SBM,其中HGG的病理诊断标准依据2016年WHO《中枢神经系统肿瘤分类》诊断为WHO 3或4级的神经胶质瘤;SBM病理诊断标准为非原发性神经系统肿瘤。排除标准为:(1)术前接受过治疗如放疗、化疗或手术治疗等;(2)术前MRI检查的图像伪影较大,影响病灶的分割和分析;(3)多个病灶(多中心/多灶性HGG或多个转移瘤)的患者;(4)MRI上呈现的病灶为单纯囊性成分或无强化者。在分析之前,所有患者的记录和医疗信息都被匿名化和去识别化。
所有患者在2007年9月至2020年9月期间均接受了诊断性术前MRI的评估。所有MRI检查均在3.0 T MR扫描仪(Verio, Siemens,Erlangen,德国)和1.5 T MR扫描仪(Signa Excite HD,GE Healthcare,Milwaukee,WI,美国)上进行,配备12通道头颅线圈。轴位T1WI扫描参数如下:TR 400~2000 ms,TE 9~15 ms,层厚6 mm,采集信号个数2,矩阵320×320,视野230 mm×230 mm;轴位T2WI扫描参数如下:TR 3500~6000 ms,TE 95~100 ms,层厚6 mm,采集信号个数1,矩阵320×320,视野230 mm×230 mm;T2加权液体衰减反转恢复(T2-weighted fluid attenuated inversion recovery, T2_FLAIR)序列扫描参数如下:TR 6000~8000 ms,TE 90~120 ms,层厚6 mm,采集信号数目1,矩阵320×320,视野230 mm×230 mm。此外,静脉注射0.1 mmol/kg的二乙三胺五乙酸(拜耳医疗,柏林,德国)后,获得轴位、矢状位和冠状位的增强后T1WI图像(post-contrast enhancement T1WI, CE_T1WI)。
分别由一名具有5年MRI影像诊断工作经验的住院医师和16年MRI影像诊断工作经验的主任医师在不了解患者病例资料及病理结果的前提下独立使用ITK-SNAP软件(http://www.itksnap.org),于MRI图像的横断位平面上手动逐层勾画肿瘤的三维容积感兴趣区(volume of interest, VOI),以获得肿瘤实性强化(enhanced tumor, ET)部分的体积,表示为肿瘤实性强化部分的体积(tumor volume of enhancement region, VOIET)(图1)。通过Dice相似性系数评价两位研究者勾画VOI的一致性,根据Dice指数是否大于0.9,将两个VOI的交集作为最终的VOI。病变边界上的差异(Dice<0.9)通过两者进一步讨论解决,直到双方达成共识。


本研究创新性地提出了一种基于多参数MRI序列影像组学影像组学特征融合的预测模型,通过对不同模态信息进行互补,可以有效鉴别HGG和SBM。本模型主要包含4个主要部分,分别是:特征提取、多序列特征融合、特征选择以及模型训练,如图1所示。
为了尽可能消除不同磁共振场强和不同序列参数对纹理特征的影响,在特征提取之前对所有MRI图像进行图像强度归一化预处理。首先在勾画VOI前使用图像处理工具包SimpleITK对所有序列的MRI图像进行基于线性插值的重采样(上采样或下采样)。然后使用开源影像组学工具包Pyradiomics(https://pyradiomics.readthedocs.io/en),从所有4个MRI序列(T1WI、CE_T1WI、T2WI和T2_FLAIR)的VOIET中总共提取了109个影像组学特征,包括一阶特征(n=19)、形态特征(n=15)、灰度共生矩阵特征(n=24)、灰度级大小矩阵特征(n=16)、灰度运行长度矩阵特征(n=16)、相邻灰度色差矩阵特征(n=5)和灰度相关矩阵特征(n=14)[20]。
本研究提出了一种新的特征融合方法,该方法整合了从不同MRI序列中提取的特征(图1)。我们为每一个特征定义了一个数据矩阵,其中 p(p=2,3,4)表示MRI序列的数量,是训练样本数。为了将类结构合并到特征融合中,本研究通过将矩阵划分为个独立的组(是类别的数量,本研究中=2)来构建类间散射矩阵,类间散射矩阵的计算方法见公式(1)。
其中列是中属于第个类的列向量,而和分别代表向量(中第个类的第个样本)在第个类和整个集合中的均值,的计算方法见公式(2)。
是协方差矩阵,其计算方法见公式(3)。
本研究所提出的特征融合算法的思想是:如果HGG和SBM之间能够被较好地鉴别,那么其所对应的[的转置]可以被对角化。因此,本研究通过对角化求出了的特征向量矩阵和特征值矩阵。抽取前个最大特征值所对应的特征向量组成特征向量并通过映射可以求出类间散射矩阵的特征向量矩阵和特征值矩阵。最后单位化类间散射矩阵能够生成一个转换矩阵,可用于降低矩阵的维度。转换矩阵的计算方法见公式(4)。
本研究通过设置将包含多个序列的特征矩阵映射到行向量上。对所有m(m=109)个特征进行重复融合,将融合得到的m个行向量叠加以得到融合特征矩阵。与串行和并行融合不同,该方法不仅融合了来自不同MRI序列的特征,而且在特征融合过程中消除了类间相关性,限制了类内相关性[21]。
在本研究中,从T1WI,CE_T1WI,T2WI和T2_FLAIR四个MRI序列中提取的特征分别表示为,,和,多序列特征融合是通过组合上述任意两个(,,,,和)、三个(,,,)或所有四个()特征向量来完成的。
在影像组学研究中,提取的特征数量十分巨大,特征之间可能存在相互依赖以及不相干的特征。特征选择是特征工程中的重要步骤,目的在于剔除不相干或冗余的特征,从而达到减少特征个数,提高模型精确度,减少运行时间的目的。本研究将前面的单一序列及融合特征分别输入到五种特征选择算法中寻找最优特征子集,这5种特征选择方法包括两种基于信息理论的特征选择方法[DISR(double input symmetrical relevance)和JMI(joint mutual information)]、一种基于相似性的特征选择方法SPEC(spectral)、一种基于稀疏学习的特征选择方法(ll_121)和一种基于统计学的特征选择方法(f_score)[22, 23]。筛选后的特征数设置为50。
本研究基于不同的特征选择算法和分类器构建预测模型,在模型训练过程中采用五折交叉验证来评估模型的性能。在五折交叉验证的每一折中,使用不同特征选择算法筛选出最优的特征子集,然后将这些特征子集输入到分类器中训练。本研究使用了3种分类器训练,包括逻辑回归、支持向量机和梯度提升决策树。一种特征选择算法结合一种分类器可以构建出一个模型,因此本研究共构建出15个模型。评价模型鉴别能力的指标包括受试者工作特征(receiver operating characteristic, ROC)曲线下面积(area under the curve, AUC)、准确率、敏感度和特异度。
所有统计分析均在SPSS 21.0软件(SPSS Inc.)中进行。连续变量以平均值±标准差表示,而分类变量以数字和比例表示。通过Shapiro-Wilk检验评估数据分布的正态性。分类变量的比较使用卡方检验,服从正态分布的连续变量使用Student-t检验,而Mann-Whitney U检验用于非正态分布的连续变量。此外,本研究使用配对样本Wilcoxon符号秩检验进行模型性能比较。P<0.05被认为具有统计学意义。所有实验都独立重复5次。
该研究共包括121名患者(61名HGG和60名SBM)。其中60例SBM患者中原发性肺癌22例,原发性乳腺癌4例,原发性食管癌2例,原发性结直肠癌1例,原发性前列腺癌1例,原发性鼻咽癌1例,不明原因癌症29例。本研究的数据显示,HGG和SBM之间没有显著的性别差异(P=0.293)(表1)。从表1可知,SBM患者年龄较大[SBM组为(58.02±9.89)岁,HGG组为(49.92±16.07)岁,P=0.001]并且更有可能位于幕下区域(SBM组为10/60,而HGG组0/61,P=0.001)。如图2、图3所示分别为一例经组织病理学证实为HGG和SBM的MRI示意图。

患者临床特征
Clinical characteristics of patients
患者临床特征
Clinical characteristics of patients
| 参数 | 高级别胶质瘤(61例) | 单发性脑转移瘤(60例) | 统计值 | P值 |
|---|---|---|---|---|
| 年龄/岁 | 49.92±16.07 | 58.02±9.89 | -3.345① | 0.001 |
| 女性/例 | 26 | 20 | 1.108② | 0.293 |
| 男性/例 | 35 | 40 | ||
| 病变部位(幕上) | 61 | 50 | 11.083② | 0.001 |
| 病变部位(幕下) | 0 | 10 |
注:①为独立样本t检验;②为卡方检验。




将4个MRI序列(,,和)的VOIET特征通过所提出的方法融合任意两个、三个或所有四个序列,并比较它们的分类性能(图4)。结果显示,在没有特征融合的情况下,在T2_FLAIR(,AUC=0.936)中观察到最佳性能(平均AUC),其次是CE_T1WI(,AUC=0.923)、T2WI(,AUC=0.890)和T1WI(,AUC=0.887)。与使用单个MRI序列的特征相比,除了和外任意两个MRI序列之间的特征融合都提高了分类精度。其中T1WI和T2_FLAIR的融合获得最佳性能(即,AUC=0.946)。值得注意的是,所有与(T2_FLAIR)相关的融合都产生了令人满意的结果(,,,,,和,AUC>0.931)。然而,结合来自其他MRI序列的更多特征不一定都会提高融合的准确性,例如与,或与。这可能与不同序列的互补性有关。总体来说,特征融合优于使用单个MRI序列的特征(平均AUC分别为0.929和0.909,P=0.007)。


根据2.2的结果,使用所提出的多序列特征融合算法融合从T1WI和T2_FLAIR序列中提取的影像组学特征获得最佳性能。该组合在VOIET上所获得的平均分类准确度为AUC 0.946、准确率86.4%、敏感度84.1%、特异度88.7%。此外,本研究在所提出模型筛选出的影像学特征中添加两个差异具有统计学意义的临床特征(“病灶部位”和“年龄”)后再次评估了分类性能,其结果如表2所示。数据表明,在筛选出的影像组学特征中加入患者年龄将使AUC降低至0.926(P=0.016),准确度降低至84.6%,敏感度降低至81.4%,特异度降低至87.7%。而加入病灶部位将显著提高分类准确度至AUC 0.949(P=0.014),准确率86.5%,敏感度84.8%。值得注意的是,同时添加这两个临床特征并没有进一步提高模型的分类性能[AUC 0.927(P=0.023),准确度84.7%,敏感度81.5%,特异度87.8%]。

单一影像组学模型与基于影像组学和临床特征的联合模型的性能比较
Performance comparison between only the radiomic model and the combined model based on radiomics and clinical features
单一影像组学模型与基于影像组学和临床特征的联合模型的性能比较
Performance comparison between only the radiomic model and the combined model based on radiomics and clinical features
| P值 | AUC | 准确度/% | 敏感度/% | 特异度/% | |
|---|---|---|---|---|---|
| 影像组学 | — | 0.946±0.012 | 86.4±2.2 | 84.1±2.6 | 88.7±2.1 |
| 影像组学+临床特征(年龄) | 0.016 | 0.926±0.035 | 84.6±4.1 | 81.4±8.0 | 87.7±2.7 |
| 影像组学+临床特征(病灶部位) | 0.014 | 0.949±0.014 | 86.5±2.7 | 84.8±5.2 | 88.2±2.8 |
| 影像组学+临床特征(年龄+病灶部位) | 0.023 | 0.927±0.036 | 84.7±4.3 | 81.5±7.7 | 87.8±2.9 |
注:P值为使用配对样本Wilcoxon符号秩检验对单一影像组学模型与各个基于影像组学+临床特征的联合模型的最大AUC的性能比较。AUC为受试者工作特性曲线下面积。
为了分析鉴别HGG和SBM强有力的特征,本研究对15个模型在每种特征选择算法上选出的特征进行了统计和排序。前20个最常选择的特征包括7个基于一阶的特征、10个基于形状的特征和3个基于纹理的特征(表3)。其中“90th Percentile”特征被筛选的次数最多,其次是“MinorAxisLength”特征和“Median”特征。本研究进一步分析了筛选的前20个特征在HGG和SBM两个组别间的强度分布,如图5所示。与T1WI或T2_FLAIR的相应特征相比,使用所提出的多MRI序列特征融合模型融合生成的T1WI和T2_FLAIR的融合特征(即)显著增强了HGG和SBM的鉴别能力,前20个特征中约有80%在HGG组显示更高的特征值。

15个模型选出的前20个高频特征
Top-20 features of high frequency selected by 15 models
15个模型选出的前20个高频特征
Top-20 features of high frequency selected by 15 models
| 特征类别 | 前20个高频特征 |
|---|---|
| 一特征阶(n=7) | 90th Percentile(1st),Median(3rd),Maximum(8th),Range(10th),10th Percentile(11th),Energy(17th),TotalEnergy(18th) |
| 形特征态(n=10) | Minor Axis Length(2nd),Maximum 2D Diameter Column(4th),Maximum 2D Diameter Slice(5th),Flatness(6th),Major Axis Length(7th),Voxel Volume(9th),Maximum 2D Diameter Row(12th),Maximum 3D Diameter(13th),Mesh Volume(14th),Surface Area(19th) |
| 纹理特征(n=3) | Run Entropy(15th),Run Variance(16th),Gray Level NonUniformity(20th) |


HGG和SBM之间精确的术前区分对于影像组学评估至关重要,这为精准医疗和个性化治疗选择奠定了基础[24]。本研究提出了一种新的基于多MRI序列特征融合的影像组学模型,与使用单一序列的结果相比,该模型表现出令人满意且优越的鉴别能力。
影像组学将数字医学图像转换为可挖掘的高维数据,并已被广泛认为是肿瘤学中无创诊断/预后的实用替代方案[12,25]。先前的研究证明了基于传统MR图像或先进MRI技术应用影像组学模型来鉴别HGG和SBM的可行性[5,14,17]。值得注意的是,影像组学建模的一个关键步骤是病变VOI的勾画。病变VOI定义了与肿瘤病理异质性相关的图像与周围图像的关系,并对提取的影像组学特征产生直接影响。由于肿瘤实性增强区域一定程度上反映了HGG和SBM肿瘤异质性差异,有可能通过纹理图像的特征能进一步挖掘更多的信息,因此本研究选用肿瘤实性增强区域作为目标VOI。
另一方面,选择合适的MRI序列是基于MRI的影像组学建模的另一个挑战。以往的分析主要针对单个MRI序列,例如CE_T1WI、T2WI[16, 17, 18,26]。然而,由于没有提供选择标准,这种偏好可能是随机的。选择合适的MRI序列进行影像组学建模可以加强全面的比较研究。例如,Tateishi等[16]比较了CE_T1WI、T2WI和ADC序列,并表明T2WI的肿瘤内纹理在鉴别HGG与SBM时产生最高的AUC(0.78)。然而,该研究在分析中排除了T2_FLAIR序列。本研究广泛比较了四种常规MRI序列(T1WI、T2WI、T2_FLAIR和CE_T1WI)及其可能的组合,并证明了T2_FLAIR序列在HGG和SBM鉴别中的积极作用。
此外,本研究假设以协作方式管理MRI序列将提供更多方面的成像信息,而这些信息通常在单个MRI序列中不存在。本研究提出的新特征融合方法通过在融合过程中结合类结构信息来实现有效的特征融合,该信息将构建的类间散射矩阵单位化。因此,来自不同MRI序列的特征不仅被整合,而且融合的特征在HGG和SBM之间更具代表性和区分性。通过这种新颖的特征融合,本研究表明与T2_FLAIR序列相关的融合特征与其他MRI序列相比表现出优越的判别能力,其中最佳性能是在“T1WI+T2_FLAIR(AUC=0.946)”。然而,“T2_FLAIR+CE_T1WI”的特征融合并没有像我们预期的那样优于“T1WI+T2_FLAIR”的特征融合。这种现象产生的原因可能是来自T2_FLAIR和CE_T1WI序列的图像特征相似且有些重叠,而T1WI和T2_FLAIR序列的图像特征可能是互补的。
本研究结果显示,基于VOIET的T1WI和T2_FALIR的7个基于一阶的特征、10个基于形状和3个基于纹理的特征是与HGG与SBM鉴别相关的前20个特征,其中“90th Percentile”特征(HGG中高于SBM)表现出最高的判别能力。较高的百分位数可能意味着较高的肿瘤异质性。例如,Tozer等强调了“90th Percentile”在神经胶质瘤亚型鉴定中的作用[27]。这可能归因于HGG的特点是分化差的肿瘤性星形胶质细胞和广泛的微血管增殖和/或坏死[28, 29]。此外,T2_FLAIR序列通过抑制脑脊液信号突出了肿瘤内信号强度的变化,从而导致HGG中的“90th Percentile”值更高。
虽然本研究所提出的模型在鉴别HGG与SBM方面更具有竞争力,但是也存在一些缺陷。第一,本研究受到回顾性研究的限制以及由于严格的纳入标准导致样本量较小。因此,需要对更大的患者群体进行研究来验证模型的能力。第二,本模型没有纳入其他MRI序列如灌注成像、波谱成像等,这是由于上述成像方法在相当一部分医院中尚未作为颅脑MRI检查的常规序列开展[30],波谱成像结果也易出现因基线不稳而导致影像结果判读困难[31, 32],因此本研究仅基于常规序列(T1W,T2W,T2_FLAIR,T1增强)构建多参数MRI影像组学特征融合模型。第三,本研究没有将本模型的性能与临床工作的影像科医生的诊断能力相比较,主要是因为影像诊断医师在缺乏原发肿瘤病史的情况下,单纯依据影像图像进行HGG与SBM的判读,会大大降低其诊断准确率,这不符合诊断思维流程,不能可靠反映出他们的诊断水平,因此本研究并未设置影像医师单纯评估影像图像对GBM及SBM做出判读。第四,本研究的分析包括具有不同组织病理学起源的SBM。目前尚不清楚不同来源的脑转移瘤是否表现出不同的图像纹理及其对模型的可能影响。第五,本研究只研究了增强肿瘤区域对HGG和SBM预测性能的影响。事实上,来自不同VOI成分的肿瘤异质性与HGG较差的存活率有关[29],对多VOI区域(如坏死中心、边缘增强或肿瘤周围水肿区域等)特征的评估将导致更精确和可重复的判别模型。第六,本研究并未对影像组学特征与肿瘤强化组分的病理表现之间的关系进行分析,也是本研究的局限性之一。
综上所述,本研究通过一种新的基于多MRI序列特征融合的影像组学模型,从T1WI和T2_FLAIR序列中提取的图像融合特征在HGG和SBM的鉴别任务中取得优秀的诊断性能,融合来自多个MRI序列的影像组学特征比单一序列特征可提供更全面的信息,充分反映肿瘤的异质性。在患者临床病史及辅助检查不全的情况下,该模型有望成为计算机辅助鉴别HGG与SBM的有效工具。
National Natural Science Foundation of China (No. 81971574).
全体作者均声明无利益冲突。





















