如同人工神经网络是受到生物学启发一样，CNN也是如此。1962年，HUBEL等 ^[7]在对猫大脑皮质视觉反应的研究中，发现了可驱动局部敏感和方向控制的神经元，CNN由此发展而来。到1998年，LECUN等^[8]在Hubel等^[7]研究基础上首次提出基于梯度的反向传播思想，并构建了第一个CNN：LeNet-5，成功解决了手写数字识别的问题，也确定了CNN延续至今的基本架构。其核心思想是应用端对端^[9]的学习机制，充分挖掘图像底层特征，再结合损失函数反复对所学习的特征加以修饰，使分类效果达到最佳。

CNN通常由卷积层、池化层和全连接层组成，其中卷积层主要用于图像的特征提取，第一层卷积层只能提取一些如边缘、大小、形状之类的低级特征，需要结合深层次卷积层才能迭代出更抽象的特征。池化层选用下采样形式，主要用来对特征降维，并在最大程度上维持特征形状不变，提升网络的泛化性能。全连接层往往只存在于网络的最后几层，将池化层下采样得到的信息与当前层进行全连接，负责解释全局特征信息并执行高级推理功能，常以N维向量作为输出形式，最后分类模型解析N维向量输出分类结果。

近年来，利用CNN 对脑肿瘤MRI图像分类在医学图像诊断中得到了广泛的应用。KHAN等^[10]基于视觉几何组（visual geometry group, VGG）-16架构在253张脑MRI数据集上识别肿瘤的良恶性，实现了96%的分类准确率，却难以摆脱单一数据集中小样本问题对模型泛化性能的影响。ANILKUMAR等^[11]将迁移学习作为应对小数据问题的重要因素进行了讨论，提出了使用VGGNet作为基线模型的复杂算法。该方法基于预训练的VGGNet并对6个功能模块逐块微调，在BraTs公开和CE-MRI内部数据集上的准确率分别达到97.28%和98.69%，提供了准确且稳定的分类效果。AYADI等^[12]设计了新的深度CNN，利用十个卷积层来提取特征。每个卷积层后均使用批处理归一化层获取最佳优化结果并加速网络收敛，每两个卷积层后均通过最大池化层减少冗余特征，卷积层末尾连接一个非线性层和全连接层改善CNN的拟合能力并输出分类结果。与使用同一公开数据集（Figshare三分类脑MRI数据集）的先前技术比较，所提出的模型实现了更高的准确性，也具有更好的鲁棒性，平均准确率为98.02%，优于8层CNN（94.2%）、8层AlexNet（94.72%）和22层的GoogleNet（93%）。并在Adiopaedia数据集验证了模型对脑肿瘤MRI四分级的效果，平均精度达到了95.17%，也明显优于先前的一些工作。

ABD EL KADER等^[13]提出了一种用于脑MRI图像正/异常分类的差分深度CNN模型，利用差分特征图来提取大脑MRI图像中更多的细节特征，而无需增加卷积层和参数数量。在不影响分类准确率（99.25%）的情况下降低了CNN的复杂度，符合临床应用轻量、高效的要求。AMIN等^[14]阐明了多模态MRI的重要性，利用小波变换把四个MRI序列（T1、T1CE、T2和FLAIR）的结构和纹理融合到一个MRI图像中，并将其传输至CNN模型。使用五个公开的数据集BraTs2012、BraTs2013、BraTs2013 Leader board、BraTs2015和BraTs2018评估模型效果。其中基于单MRI序列的CNN在五个数据集上的平均准确率为67.2%～72.0%，均值为69.2%。而基于多序列融合的CNN准确率高达90.2%～97.6%，均值为93.2%，且四序列融合的效果最好为97.6%，表明了融合多模态信息，可以在准确性方面提供更好的结果。

CNN通过累加卷积层完成局部到全局特征的提取，在分类任务上的性能显著优于其他模型。但也存在一些缺点，其中最重要的是它缺乏从肿瘤周围区域获取空间信息的能力。目前，CNN已在MRI图像的三维重建^[15]、分类分割^[16]、配准定位^[17]中取得优异效果，被认为是最适合医院的深度学习模型。下一步，CNN应充分利用其稀疏连接、参数共享等独有优势，在缩短训练时间及提升模型泛化性方面发挥更大作用。

2006年HINTON等^[18]使用多层受限玻尔兹曼机（restricted boltzmann machine, RBM）堆叠降维的方法，完成了特征的无监督学习，避免了监督学习中模型过拟合的现象。但训练中梯度不稳定、对原始数据过敏感等问题仍没有得到妥善解决。同年，HINTON等^[19]又在无监督学习基础上加入贪心算法和线性分类器，就形成了目前广泛应用的DBN的前身。DBN的主要思想是先利用贪心算法逐层初始化模型参数，再结合有监督学习全局优化参数权重。这种方法有效克服了深层模型的训练问题，提升了模型的学习效率。

现在一般认为DBN由多个无监督的RBM和一个有监督的反向传播神经网络构成。在具体的应用中，DBN通常分为两个阶段，分别是无监督特征学习和有监督精调。在无监督特征学习阶段，DBN将底层RBM的输出作为顶层RBM的输入，利用无监督贪心算法从底层到顶层逐层训练RBM，实现初级特征到高级抽象特征的转换。在有监督精调阶段，反向传播神经网络对上阶段获取的高级特征进行精调以致全局优化，再将其作为DBN的初始输入，从顶层到底层精调整个网络，进行有监督的训练，使模型的分类效果达到最佳。

许多基于DBN的脑肿瘤MRI图像分类方法已经提出，无论是完全基于DBN还是与其他方法结合都取得了令人满意的结果。REDDY等^[20]完全基于DBN对脑胶质瘤MRI图像分类，取得了89%的二分类精度，证明了DBN应用在医学图像分类任务中的巨大潜力。SATHIES KUMAR等^[21]提出一种使用最优特征选择和优化DBN的方法：混合元-启发式算法（GS-MVO）-DBN，用于鉴别脑肿瘤MRI图像异常。采用GS-MVO选择最优特征作为DBN的输入，并在DBN中执行相同的GS-MVO优化特征权重。从分析结果来看，GS-MVO-DBN的平均准确率为95.24%，高于DBN的3.18%、CNN的14.29%，在检测脑肿瘤方面非常有效。SANTHOSH KUMAR等^[22]则将DBN与自适应搜索算法结合分类脑肿瘤MRI图像。通过自适应搜索算法最大程度地提取特征，并利用DBN无监督融合和有监督优化特征实现分类。在Figshare、BraTs2013、BraTs 2015和BraTs 2018四个公开数据集上的平均准确率、特异度、敏感度分别为99.2%、98.83%、99.18%，优于DBN的97.8%、96.83%、97.05%和CNN的96.6%、94.6%、94.69%，且具有较高的泛化性，最大波动仅为0.37%。

无监督和有监督学习的结合给DBN带来了极大的灵活性，无论是在疾病的影像分析中还是作为分类模型。目前，DBN及其派生模型已在脑肿瘤的多任务诊断^[23]、预后预测^[24]等方面展示出强大功能，也经常被当作其他分类网络的预训练部分，用于加快模型训练速度。但DBN的层数往往需要多次实验或通过主观性较强的经验确定，这对模型的拟合程度有一定影响，在模型的搭建过程中也耗时较长。基于无监督的学习方式是DBN的天然优势，尤其是在有标注数据难以获取的临床应用中，未来DBN应以科学的手段确定网络层数，拓展更复杂的网络结构和更丰富的节点功能，完善因果推理机制，站在迁移学习的肩膀上，推进“DBN+医疗”的发展。

2012年，一个具有8层结构的CNN：AlexNet^[25]，以38.1%的Top-1误差率获得了ILSVRC的冠军，使众多学者开始意识到深度网络的巨大优势。此后，VGGNet^[26]基于19层网络、GoogleNet^[27]则把网络深度追加到22层，均在ImageNet数据集上获得了更佳的分类效果。但随着网络深度不断加深，开始出现梯度消失、爆炸等现象，导致CNN在训练过程中难以收敛。文献^[28]表明，在20层以上的网络中增加层数时，网络性能会出现退化。当层数增加到50层时，网络的误差率几乎达到了20层时的一倍。对此，HE等^[29]提出了DRN，在网络中引入了恒等映射的思想来增加特征的传输路径，在保证深层网络的效果不弱于浅层的同时，巧妙地缓解了性能退化的问题，使网络的深度可以叠加至成百上千层。

DRN的基本组成单位是残差单元，由卷积（Convolutional, Conv）层、批归一化（Batch Normalization, BN）层、非线性激活函数（Rectified Linear Unit, ReLU）层顺序堆叠而成。在DRN的标准应用中，输入的图像依次经过Conv层提取特征、BN层归一化特征分布、ReLU层添加非线性因素，然后进入N个残差单元优化特征权重并把特征映射到隐藏空间，最后经过N个全连接层将学习到的特征映射到样本空间并输出结果。在具体的临床任务中，有时会根据需要调整如卷积步长、卷积核大小等参数，有时也会在残差单元后添加池化层对特征降维。

基于CNN的方法成为主流后，在CNN基础上改进而来的DRN也受到了越来越多学者们的青睐。ÇINAR等^[30]通过在ResNet50上添加8层卷积层，在Kaggle的脑肿瘤MRI二分类数据集上取得了97%的高准确率，与经典的CNN架构（GoogleNet、AlexNet、DenseNet）相比有很大提升。ABDELAZIZ ISMAEL等^[31]探讨了数据预处理对分类精度的重要意义。首先通过裁剪背景信息以调整数据大小，然后应用7种数据增强技术来增加3064张基准脑肿瘤MRI数据集以减少过拟合。最后，将处理后的数据集输入ResNet50架构进行训练和测试。结果表明，该方法的准确率达到了99%，与未经预处理相比提升了2%，验证了预处理的可行性和有效性。

KUMAR等^[32]基于自设计的DRN完成了对脑膜瘤、胶质瘤和垂体瘤MRI图像的三分类，选用由1个最大池化层和49个卷积层组成的ResNet-50解决了训练中梯度消失的问题，又在ResNet-50后堆叠一个全局平均池化和全连接层避免出现过拟合。最后采用3064张DCE-MRI图像进行性能分析，在准确率、特异度、敏感度上的平均性能为97.08%，优于KABIR ANARAKI等^[33]提出的CNN（94.20%）及SWATI等^[34]提出的VGG-19（94.82%）。SHIN等^[35]使用由49个卷积层和1个全连接层构建的ResNet-50区分脑胶质瘤和孤立性脑转移瘤，并与2名放射科医生进行对比。所提出的ResNet-50在外部测试集上的准确率、特异度、敏感度分别达到了85.9%、90.7%、88.9%。而放射科医生1（具有13年经验）的分类效果为86.6%、92.6%、88%，放射科医生2（具有4年经验）为75.3%、82.8%、82%。结果表明，该模型的分类性能与经验丰富的放射科医生相当，而完全优于年轻的放射科医生，可作为临床诊断脑肿瘤的有效工具。

DRN一直是医学图像分析领域的研究热点，在脑癌、胃癌、乳腺癌等重大疾病的临床诊断中发挥了重要作用。但模型中的大量参数限制了DRN在训练集和测试集上达到相近的效果，模型的泛化性不高。而特殊的残差结构赋予了DRN良好的可移植性，为与其他模型结合提供了便利。已有研究将DRN与密集连接神经网络^[36]等传统算法结合，对脑肿瘤MRI图像分割、检测，并都取得了不错的效果。未来，DRN有望与无监督DBN及基于注意力机制的Transformer等先进网络结合，在不降低准确率的前提下有效减少模型的参数，增强模型的运算性能和泛化能力。

2017年谷歌研究人员在处理英法语言翻译任务中引入了Transformer^[37]，采用连续堆叠6层的编码器-解码器（Encoder-Decoder）结构，开启了自然语言处理领域的新时代。后随着研究的深入，一些学者创新性地把Transformer迁移到图像分类领域，尝试验证相似结构的模型能否提取到更完整有用的特征，广泛使用的模型有iGPT、ViT系列。其中，ViT及衍生模型已逐步应用于MRI等医学图像分类中，iGPT则多应用于自然图像的分类。

DOSOVITSKIY等^[38]第一个将Transformer应用于计算机视觉领域的图像分类任务中，将其命名为ViT,采用了原始的Transformer体系结构并完全基于自注意力机制。他们认为相比于CNN，Transformer在图像分类问题上完全可以表现得更好。在ViT中，输入图像被转换为一系列块，6层Encoder分别对每个块的空间位置进行编码以提供空间信息，并引入分类标志位表示全局信息。然后，将空间和位置信息一起馈送到Decoder层，以计算多头注意力并输出学习到的块信息。最后，利用多层感知器整合块信息进行分类。

ViT的发展为脑肿瘤MRI图像的自动分类提供了新的研究方案。ZHANG等^[39]利用ViT分类脑肿瘤静息态功能MRI图像时，发现了ViT的注意力模块中含有海量的参数，在训练样本有限的情况下，难以获得较优性能。为此，他提出使用内核注意力来代替原有的线性注意力模块，大大减少了需要训练的参数数量，从而缓解了小样本问题，并且引入了非线性注意力机制来模拟脑区的复杂交互作用。改进后的方法准确率达到了80%，相较于直接应用ViT提高了6.7%。CHEN等^[40]提出了一种基于ViT的脑肿瘤检测框架UTRAD，采用多尺度金字塔结构和跳跃连接方式，有助于对全局和局部特征的系统学习。并通过对全局特征分布重建，实现了更稳定的训练过程和更精确的分类结果。在Brain-MRI数据集上取得95.81%的最佳性能，与先前方法相比最大提升了14.99%，且显著降低了训练时间和内存使用量。虽然纯ViT在不做过多修改的情况下就取得了令人满意的结果，但人们还是投入了大量的时间来探索ViT与其他网络结合，以捕获更复杂的数据分布或获得更好的性能。DAI等^[41]提出了基于TransMed的多模态医学图像分类方法，综合了ViT和CNN的优点，既能追踪底层特征，又能捕捉跨通道的高层次信息，构建了模态间的长期依赖关系。在基于MRI T1、T2图像的私人数据集PGT上将肿瘤分为三种亚型，并区分良恶性，TransMed取得了88.9%±3.0%的准确率，相比于性能优越的僵尸网络BoTNet50提高了10.1%，为多分类问题及多任务网络提供了有价值的参考。

ViT是Transformer在图像分类领域替代CNN的首部作品，自注意力机制自带的长距离依赖能力使其比传统深度神经网络效率更高、可扩展性更强，在大规模数据集上可以展现出一骑绝尘的效果。但缺点也很显而易见，ViT把输入MRI图像切割成一系列块，打破了图像特定的内部空间结构，丢失了其固有的整体特性，导致模型难以训练。目前，ViT的一些衍生模型都不同程度地对ViT的缺陷进行了完善，DeepViT使ViT可以达到CNN一样的网络深度，T2T-ViT建立了全局和局部信息的关联。但还未有一个模型是系统地针对所有缺陷进行完善。此外，ViT最初是针对自然图像的分类，后被研究学者直接应用在医学图像领域，下一步可以从适应MRI等医学图像特点的角度出发，研究基于ViT的集成多功能、专门针对医学图像分类的模型。

物理因素：各种MRI设备如西门子、飞利浦等都会产生噪声，从而在图像采集过程中造成干扰，使MRI图像出现物理伪影^[42]。如果被检查对象在图像采集期间移动，还会出现运动伪影。这些噪声是不可避免的，需要制订标准的方法来消除它们。

类别不平衡：在肿瘤图像分类任务中，肿瘤的靶区被称为感兴趣区域，剩下的区域被称为背景区域。脑肿瘤MRI图像的背景区域往往远大于感兴趣区域，这导致了当要分类的组间具有不相等的体素分布时会出现类别不平衡^[43]。

感兴趣区域勾画：脑肿瘤的轮廓可能完全相连，也可能不相连。且不同部位的肿瘤外观差异较大，这都使得对脑肿瘤感兴趣区域的勾画比较困难，对所考虑的体素是属于背景区域还是感兴趣区域很难判断^[44]。

标准数据集：除了一些挑战赛每年会公开有限的分类数据集之外，很少有关于脑肿瘤MRI的可靠数据集能够免费获得。此外，可用的私人数据往往不是标准格式，噪声极大。这十分限制深度学习分类模型性能的提升，并且难以评估不在同一数据集上模型的优劣。

数据增强：深度学习模型可以有效地处理大量数据^[45]，但目前高质量的数据集十分缺乏。数据增强有助于增加小数据集的样本量，并建立有效的泛化模型，降低分类错误率。但到目前为止，还没有标准的MRI增强技术。尽管研究人员提出了许多的数据增强算法，其主要目的还是为了增加数据量，并没有充分地考虑到图像空间和纹理关系。

预处理技术：即使是在公开数据集中也存在噪声和运动伪影等问题^[46]，需要对MRI图像进行预处理，以便清除各种类型的噪声，增强MRI图像质量。但目前还没有一个公认的预处理标准，各类研究中使用的低标准的预处理软件，不仅没有改善反而还降低了图像质量。

硬件要求：由于深度学习模型需要训练大量数据，而这些数据与数百万计的参数相关联，这对于GPU的内存容量提出了较高要求。并且相同模型在不同性能的GPU下可能会出现不同的收敛结果，这极大地影响了模型的设计。

特征筛选：深度学习通过学习不同的参数并对其优化，可以自行提取和筛选特征。尽管如此，现有模型在特征筛选方面并不高效，通常采用池化层过滤不重要的特征，但也会误删一些与全局相关的有效特征，降低了分类精度。

分类精度与速度间的权衡：浅层的网络具有较快的收敛但精度较低，模型无法学习更深层次的特征；深层网络可以表现出较高的分类精度，但由于需要学习大量的参数，导致了模型的收敛速度较慢，整体分类时间较长。

智能和自动化：深度学习模型缺乏自适应性和自动化能力。到目前为止，几乎没有可以实现完全自动化并且能够适应数据自行调整的网络架构。每个分类模型都或多或少地需要人工交互，对数据预处理、微调模型层数、结合外部架构等，无法真正实现端到端的分类任务。