随着神经影像技术与相关数据处理方法的飞速发展，多模态神经影像融合广泛应用于神经科学和临床疾病等研究领域。对当前多模态神经影像融合算法的发展及其在脑疾病诊疗中的应用进行了概述。对多模态神经影像融合的3种层面，即早期融合、后期融合和中间融合的定义、相关应用及优缺点进行了介绍与分析。对目前常用的多模态神经影像融合算法，即基于信号源分离方法和深度多模态学习进行了介绍。进一步讨论了多模态神经影像融合技术在重大脑疾病（如精神分裂症、阿尔兹海默症等）诊疗中的应用。最后，对目前多模态神经影像融合方法和应用中存在的挑战及未来的研究方向进行了总结。
版权归中华医学会所有。
未经授权，不得转载、摘编本刊文章，不得使用本刊的版式设计。
除非特别声明，本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。
近年来，随着成像技术的不断发展，研究者可以利用多种成像方法采集同一被试不同模态的神经影像[1]，从而能从不同角度提供有关大脑解剖结构或功能的信息。通常，仅对单一模态数据进行分析无法检验不同模态间的联合信息（如大脑结构与功能之间的联系）[2]，而利用多模态神经影像进行融合分析，则可更全面、更深刻地了解大脑机制及其在疾病中的异常。多模态融合是指将采集到的多个模态的数据，利用特征提取和机器学习算法进行处理并将其得到的特征与中间决策输入融合算法中进行集成[3]。其中，特征是指从单一模态数据中提取出来的与所研究的大脑活动或结构相关的数据子集[4]。集成后的特征包含不同模态数据间的交互信息，将其输入模式识别算法，即可对某些脑疾病进行分类，从而辅助诊断或用于确定疾病的生物标记物，定位异常脑区并确定患者的治疗方案。
神经成像技术可从不同方面提供大脑的信息[5]，如结构像用于展现大脑的解剖结构，功能像用于描述人体的代谢情况。常见的结构像有高分辨率T1加权图像（结构磁共振影像）、弥散张量成像（diffusion tensor imaging，DTI）等；常见的功能像有功能磁共振成像（functional magnetic resonance imaging，fMRI）、正电子发射断层扫描（positron emission tomography，PET）等[6]。其中，结构磁共振影像（structural magnetic resonance imaging, sMRI）可用于评估每个体素上灰质和白质的局部浓度或体积的变化，从而反映相应的解剖结构变化；DTI图像中提取出的部分各向异性（fractional anisotropy，FA）系数、平均弥散率（mean diffusivity，MD）等参数则可反映白质纤维束的走向和连接等解剖信息；fMRI可通过血氧水平依赖信号测量脑部神经元活动，具体可分为用于评估被试未执行明确任务时大脑发生的区域性相互作用的静息态功能磁共振（resting-state fMRI，rs-fMRI）[7]，以及用于测量被试接受特定刺激或执行与某个分析任务相关的任务时的神经元激活情况的任务态功能磁共振（task-fMRI）[8]；而PET是目前唯一以解剖形态方式反映人体不同组织的代谢情况的成像技术。
多模态神经影像融合分析可充分利用不同影像技术提供的交叉信息，识别大脑功能失调区域或寻找潜在的疾病生物标志物。但是，由于多模态数据常常具有不同的特征，在对其进行分析时，需要考虑以下两方面的问题：①融合层面；结合多模态融合的定义，在利用融合算法对不同模态数据进行分析并得到融合特征前，需要考虑其输入应该选择原始数据、特征还是机器学习算法输出的中间决策，这就涉及到融合层面的选择。②融合算法；在利用融合算法对不同模态的数据进行融合分析时有多种方法，这些方法适用的场景不同且各有其优缺点。
本文将从融合层面和融合算法两个方面对多模态融合分析技术进行详细介绍并回顾多模态神经影像融合分析在脑疾病方面的应用研究。
多模态数据融合包括早期融合、后期融合、中间融合3个层面，以下对其定义、优缺点及相关应用进行介绍。
早期融合是将不同模态的原始数据或提取的特征输入融合单元中进行融合，再将得到的融合特征输入模型中，从而得到给定分析任务的最终决策（图1）。
从神经影像中提取的常见特征有灰质密度、FA、fMRI激活图等。例如，在寻找精神分裂症（schizophrenia，SZ）的神经标记物时，有研究者利用早期融合结构将sMRI、fMRI和DTI等模态中提取出的特征进行融合，训练机器学习算法对疾病患者与健康被试进行分类[9,10]，该过程中还可加入一些先验信息（如认知评分等）以指导多模态融合[10]。此外，还有研究者将早期融合结构用于双相情感障碍（bipolar disorder，BD）与重度抑郁障碍（major depressive disorder，MDD）相关的多模态神经影像融合，发现这类患者大脑存在功能网络连接和灰质密度同时改变的成分[11]。
早期融合多采用数据驱动的方法，如独立成分分析（independent component analysis，ICA）、典型相关分析（canonical correlation analysis，CCA）等。早期融合结构的优点在于可在早期阶段利用不同模态数据间的相关性，且仅需要对融合后的组合特征运用1个机器学习算法来获得最终决策，有助于更方便、更快速地完成分析任务；其缺点是难以解决不同采样率或不同框架下数据间的异步性问题（如不同模态数据具有不同采样率）。此外，早期融合结构是基于不同数据源间条件独立这一假设的，但在实际应用中，有些数据源之间可能是高度相关的，从而使这一假设不成立[12]。
在后期融合结构中，将从不同模态的原始数据或特征中提取到的特征分别输入对应的模型中得到对应的本地决策，再利用决策融合单元将本地决策进行融合得到决策向量，决策向量输入分析单元后得到的即为后期融合所得到的最终结果（图2）。
随着集成分类器在机器学习中逐渐受到广泛关注，后期融合于21世纪初开始流行。与早期融合结构相比，后期融合结构的优点是语义空间内的本地决策有相同的表示，使融合过程更易进行；此外，各个分类器的错误不相关，可分别对不同模态数据使用最优的分类器获得本地决策，因此更受研究者的青睐。但后期融合结构也存在一些缺点，如该结构未能利用不同模态数据在特征水平的相关性，且在实际操作时需要多个分类器以获得相应的决策，使学习过程变得繁琐、耗时。因此，后期融合结构在脑影像融合方面应用较少，但有研究将其应用于其他信号的融合，如脑电图、脑磁图与fMRI[13,14]。
随着深度神经网络的广泛运用，产生了中间融合这种新型多模态数据融合形式。中间融合结构利用神经网络的一系列隐藏层，可将输入的原始数据转化为更高层次的联合表示，在这些隐藏层内通常会交替进行线性和非线性操作（如对输入数据进行缩放和移动等），从而产生原始数据的新表示[15]（图3）。
利用中间融合结构可直接学习原始数据的分层表示，无需进行特征提取。有研究者基于中间融合结构对老年轻度认知功能损害（mild cognitive impairment，MCI）和阿尔茨海默病（Alzheimer's disease，AD）进行分类，通过结合深度学习算法提出了多模态深度玻尔兹曼机（multimodal deep Boltzmann machine，MMDBM）[16]和多模态叠加深度多项式网络（multimodal stacked dual path network，MM-SDPN）[17]等方法，利用这些算法直接学习不同模态原始数据的联合表示。
中间融合结构中，利用深度学习体系结构，可通过其隐藏层来学习基础数据的分层表示，可使不同模态数据在不同抽象层次上进行融合，这为多种多模态融合的实际问题提供了灵活的解决方案。后文中提到的深度多模态学习融合方法大多采用中间融合结构。
融合算法主要涉及两类，即基于信号源分离的方法和深度多模态融合的方法。以下主要回顾目前多模态神经影像融合分析中的常用算法，阐述其各自的优缺点。
在对某个特定分析任务进行多模态数据融合分析时，对不同模态的数据集的相互作用通常了解甚少，因此提取与给定任务最有用、最相关的特征是个挑战，应尽量减少潜在的假设[18]，这也是ICA、CCA等基于信号源分离方法变得日益重要的原因。
ICA是目前应用最广的一种信号源分离方法，其目的在于排除干扰并将有用的源信号从所采集到的混杂信号中分离出来。运用到fMRI的ICA可用于空间的"源"分离或时间的"源"分离[19]，在适当的假设得到满足时，该方法在两种情况下都能很好地发挥作用。联合独立成分分析（joint ICA，jICA）假定2个或2个以上特征集共享相同的混合系数矩阵并最大化联合成分之间的独立性，其适用于检查不同特征之间的通用连接。多模态典型相关分析（multimodal CCA，mCCA）则最大化跨特征集的被试内协变，生成2个连接变量（每个数据集1个），称为规范变体；这2个连接变量仅在相同的索引（行）上相互关联，其对应相关值被称为典型相关系数。mCCA方法可检测两个特征之间在不同水平上的共同连接，但是所识别的规范变体可能不够稀疏，且当典型相关系数不够明显时其效果可能不佳。
深度学习的应用成功解决了许多复杂的分析任务，其中就包括多模态数据融合分析。利用深度学习进行多模态融合分析的优点是其可自动学习每种模态数据的分层表示，而无需手动设计特定模态的特征，然后将这些特征提供给机器学习算法[16]。传统的多模态融合方法只能利用早期融合或后期融合结构，而深度多模态学习则可支持早期、后期及中间融合3种融合层次的结构。对输入数据而言，深度多模态学习只需对原始数据进行很少或不进行数据预处理，而传统的融合技术（如早期融合）的结果可能对数据预处理极为敏感。此外，对于某些有缺失的数据，深度多模态学习模型足够强大，可弥补丢失的数据或模态。
对深度多模态学习进行分类的方法有许多，根据其学习范式可将深度多模态的学习模型分为生成模型和判别模型[15]。在监督学习中，对于输入数据X和标签Y，生成模型学习其联合概率分布P（X，Y），而判别模型应用于预测任务时，通常学习条件概率分布P（X|Y）。概率分布P（Y|X）可根据联合概率分布P（X，Y），由公式P（Y|X）=P（X，Y）/P（X）求出。因此，由生成模型可得到判别模型，反之则不然；当存在缺失数据时，可利用生成模型进行推断，而判别模型则不可以。
判别模型直接模拟从输入到输出间的映射，通过最小化正则化损失函数来学习模型的参数[15]。在深度多模态学习中，这类模型占大多数，常用于多个领域的分类与识别问题。典型的判别模型有自编码器、感知机、k近邻、支持向量机、决策树等。
通过嵌入深度学习建立的AD诊断框架，可对不同模态的数据如sMRI、PET等数据进行中间融合，从而寻找AD的生物标记物并对AD病程的不同阶段进行分类，其准确率较使用单一模态数据进行分析有大幅提升。在医学领域，除了辅助疾病的临床诊断外，深度多模态融合还可用于组织与器官的分割问题[20]及医学图像检索问题[21]。由于判别模型并不关注数据本身的特征而直接由输入集来预测其输出集，因此模型较为简单，计算量较少。
在进行模式分析时，生成模型通常可表征数据的高阶相关性质或用于学习数据的联合概率分布。对于多模态学习问题，生成模型在部分模态数据或部分测试数据标签丢失的情况下十分有效。常见的生成方法有隐马尔可夫模型、玻尔兹曼机以及朴素贝叶斯等。与判别模型相比，生成模型由于考虑了输入集与输出集之间的联合概率分布，使模型复杂度增加；而且，输入数据概率分布P（X）的存在会带来偏差，最终导致预测准确率下降。但生成模型会直接学习数据集本身所具有的特征，可将所学习的特征应用到其他的判别问题，即当所判别的类型不是数据类型Y而是另一隐藏变量Z，生成模型可以估计出隐藏变量Z的分布，这是生成模型较判别模型的优势所在。
多项单一模态影像研究结果表明，某些精神疾病（如AD、SZ等）会显示出独特的形态特征[22]、连接模式[23]及功能改变[24]。将多模态融合技术应用于患者脑影像分析，可揭示与这些精神疾病相关的大脑结构差异与功能变化间的联系，确定疾病的生物标记物，从而辅助诊断，为患者提供更合适的治疗及预后方案。在基于多模态融合技术的脑疾病研究中，常见的模态组合有结构—结构，结构—功能等，如表1所示。
多模态神经影像分析在脑疾病研究中的应用
多模态神经影像分析在脑疾病研究中的应用
| 类别 | 融合层面 | 方法 | 应用 | 模态 | 特征 | 文献 |
|---|---|---|---|---|---|---|
| 结构—结构 | 早期融合 | mCCA-jICA | 识别AD患者大脑灰质与白质的共变模式 | DTI、sMRI | FA，GM density | [26] |
| 早期融合 | mCCA-jICA | 寻找AD、PDD在海马体中的特定损伤区域 | DTI、sMRI | FA，MD，GM volume | [25] | |
| 早期融合 | linked ICA | 寻找AD患者大脑结构与功能变化模式 | DTI、sMRI | FA，GM density | [27] | |
| 结构—功能 | 早期融合 | mCCA-jICA | 寻找BD、MDD诊断性生物标志物 | sMRI、fMRI | GM density，FNC | [11] |
| 早期融合 | mCCA-jICA | 寻找SZ患者的灰质体积与功能连接变化之间的关系 | sMRI、fMRI | GM volume，dFNC | [28] | |
| 早期融合 | mCCA-jICA | 区分SZ与BD患者 | DTI、fMRI | FA，contrast map | [5] | |
| 早期融合 | jICA | 寻找SZ患者灰质与功能连接变化之间的联系 | sMRI、fMRI | GM volume，activation map | [32] | |
| 早期融合 | structural-functional correlation | 确定SZ患者与HC大脑的灰质与功能激活的联系差异 | sMRI、fMRI | GM concentration，activation map | [31] | |
| 早期融合 | mCCA-jICA | 寻找SZ患者与HC大脑不同模态上的变化异同区域 | DTI、sMRI、fMRI | FA，GM，beta-weight map | [1] | |
| 早期融合 | MCCAR-jICA | 寻找SZ患者工作记忆障碍的联合神经标记物 | DTI、sMRI、fMRI | FA，GM density，fALFF | [10] | |
| 中间融合 | MMDBM | AD、MCI诊断 | sMRI、PET | [16] | ||
| 中间融合 | MM-SDPN | AD、MCI诊断 | sMRI、PET | [17] | ||
| 中间融合 | MMDNN | AD的早期诊断 | sMRI、PET | [30] | ||
| 中间融合 | CNN | AD的早期诊断 | sMRI、PET | [29] | ||
| 中间融合 | stacked AE | AD诊断 | sMRI、PET | [33] |
注：AD—阿尔兹海默症；SZ—精神分裂症；BD—双相情感障碍；PDD—帕金森伴痴呆症；MDD—重度抑郁障碍；MCI—轻度认知障碍；HC—健康对照；jICA—连接独立成分分析；mCCA-jICA—多模态典型相关分析-联合独立成分分析；linked ICA—连接独立成分分析；Structural-functional correlation—结构-功能相关；MCCAR-jICA—有参考的多模态典型相关分析-联合独立成分分析；MMDBM—多模态深度玻尔兹曼机；MM-SDPN—多模态叠加深度多项式网络；MMDNN—多模态深度神经网络；CNN—卷积神经网络；stacked AE—堆叠自编码器；DTI—弥散张量成像；sMRI—结构磁共振影像；fMRI—功能磁共振影像；PET—正电子发射断层扫描；FA—部分各向异性系数；MD—平均弥散率；GM density—灰质密度；GM volume—灰质体积；FNC—功能网络连接；dFNC—动态功能网络连接；contrast map—对比图像；activation map—激活图；beta-weight map—β权重图像；fALFF—分数低频振幅
在结构—结构融合方面，有研究者利用mCCA-jICA[25,26]、linked ICA[27]等方法结合早期融合结构，寻找AD患者大脑灰质变化与白质纤维连接改变间的关系；其结果发现AD患者的灰质萎缩与白质纤维完整性降低有关，从而加深了对AD神经病理学机制的理解[26]。此外，Novellino等[25]对AD患者与帕金森伴痴呆症（Parkinson's disease with dementia，PDD）患者的全脑sMRI与DTI图像进行早期融合分析，发现AD患者的海马分区的结构损伤与PDD患者存在显著差异。由于海马变性在不同类型的痴呆间，以及同种疾病的不同阶段之间并不一致，因此该分析可在临床上为AD、PDD或其他形式的痴呆提供更精确、更早期的认识。
此外，还可将结构和功能的神经影像进行融合，以寻找脑疾病的神经标记物并辅助临床诊断[28,29,30]。例如，有研究者利用全脑相关[31]、jICA[32]等方法对SZ患者的task-fMRI及sMRI图像进行早期融合，发现SZ患者某些脑区的灰质浓度的降低与血流动力学活性间的关系。此外，结构—功能融合分析还可拓展至3种及以上模态神经影像的融合分析中。例如，利用mCCA-jICA方法，Sui等[1]对SZ患者的fMRI、DTI及sMRI数据进行融合分析，发现SZ患者与健康对照间既存在单一模态的组间差异区域，也存在3种模态间共有的组间差异区域，该方法有望阐明精神疾病的神经异常在结构与功能方面的联系。
由此可见，目前多模态脑影像融合分析在一些疾病（如AD、SZ等）的研究上取得了不少成果，揭示了这些疾病患者的大脑在形态结构与功能连接改变间的关系，其所用的方法包括ICA、CCA、DPN、相关性分析等，而融合层面则涉及了早期融合与中间融合。
由于影像采集技术的进步，多模态神经影像已广泛应用于临床与科学研究。多模态神经影像，如sMRI、fMRI、DTI等可以对大脑结构、功能及其连接性做出全面具体的刻画，而多模态神经影像分析可加深对脑疾病和认知功能疾病的生理学核心特征的理解。然而，多模态影像数据的融合分析仍面临许多的挑战，主要问题如下。
第一，利用多模态影像融合可揭示大脑许多结构—功能的联系，但是在融合时研究者通常面临影像模态的选择问题，使用较多模态未必能取得较佳的分类准确率；因此，在进行融合分析时需要将结果与单一模态融合、多种不同模态组合的结果进行比较。
第二，尽管利用多模态数据融合可更全面地揭示大脑的机制及其在脑疾病中的异常，但现有的大多数融合分析是在单一数据集上进行的；如要验证方法的可行性，还需要利用多中心数据进行分析，从而确定更为可靠的分析方法及一般性结论。
第三，除了各种神经影像数据，研究者还可通过充分利用现有的数据指导融合进行，如将采集到的其他数据如基因、病理切片、症状评分等进行融合，更好地从不同层面揭示各种脑疾病的机制，辅助临床诊疗。
综上所述，成像技术的不断发展为多模态影像融合技术在脑疾病中的应用奠定了基础，利用多模态神经影像进行融合分析，可从不同角度、更全面、更深刻地了解有关大脑解剖结构或功能的信息及其在脑疾病中的异常。通过总结多模态神经影像融合领域存在的问题和挑战，可为该领域研究提供新的思路及方向。
所有作者均声明不存在利益冲突
