2023年2月，复旦大学智能复杂体系基础理论与关键技术实验室于玉国教授团队与复旦大学附属儿科医院王艺教授团队合作的论文《多时频谱EEG癫痫波特征检测的不变散射变换模型算法》（ScatterFormer: Locally-Invariant Scattering Transformer for Patient-Independent Multispectral Detection of Epileptiform Discharges）被国际人工智能顶会AAAI（AAAI 2023）接受发表，并被选为大会报告。

癫痫属于复杂性神经系统疾病。其特征是脑部神经元反复发作和过度同步放电，影响全球约5000万人，对患者的精神认知和生活质量造成持续性的负面影响，甚至危及生命。脑电图（EEG）是诊断癫痫病的重要检测方法。但EEG癫痫波的人工判读成本高，效率低，判读质量差异大，基于机器学习在EEG癫痫识别表现出巨大的潜能。然而目前多数癫痫样发放活动识别方法依赖于患者的历史纪录，难以在患者独立的场景下有效检测新患者。癫痫脑电精准监测仍然是一个巨大的挑战。高频爆发是癫痫发作动力学的重要特点。捕获频域模式中具有判别性的细微特征对于提高识别准确性非常有价值。不变散射变换（invariant scattering transform）是一种基于散射小波的非线性变换，通过级联小波分解能恢复由于低通滤波损失的高频组分。本文首次将散射变换与Transformer模型相结合，通过解偶联的频率感知注意力（frequency-aware attention）使Transformer能够有效捕获脑电特征中的高频成分。本文提出的方法在患者独立场景中取得了最高的检测正确率，对Rolandic癫痫及新生儿癫痫都表现出很高的泛化性。此外，本文提出的方法为EEG信号的特征编码及表征学习提供了新的临床可解释性：时频特征中高频特征是不同患者癫痫发作的稳健临床标志。

与正常脑电相比，癫痫样波形发放往往伴随着高频电活动，是癫痫起始和癫痫发生的生物标志物。由于EEG信号存在固有的低信噪比、高伪迹、个体间变异大的特点，使得深度学习模型识别癫痫发作波形中的高频信息面临较大的挑战，在实际应用上难以在不同个体上表现出一致的性能其中，以Transformer为代表的基于自注意力（self-attention）的神经网络对高频信息具有固有的不敏感性，在向前传播的过程中出现过平滑（oversmoothing）现象，从而损害对识别分类至关重要的细粒度特征，而这些信息往往与脑电频谱中的高频组分相关。为了增强Transformer对脑电频谱特征特别是高频细节的表征能力，论文基于具有局部不变性的散射变换（scattering transform），提出了将高频和低频信息分别进行模拟的新的自注意力机制，对多种脑电频谱的融合表示进行分类。如图1所示，散射变换经过小波变换和复数取模的一系列级联操作，将脑电频谱特征通过离散小波变换和复数取模的非线性操作，在保持能量守恒、纹理平移不变性和对弹性形变稳定性的同时有助于提取了高频特征信息，从而能够减小相同纹理间差异性，增加不同特征的辨别能力。

图1 实现散射变换的级联算法。特征经小波变换计算后取模，反复多次得到散射变换稀疏，从而实现对特征的提取。

我们首次提出了基于多频谱的脑电特征提取方法。为了丰富脑电的频谱特征，如图2左，我们采用Paul, Morlet 和DoG三种小波分别计算频谱图（spectrogram）后平均，将频谱图视作图像特征计算了其显著图（saliency map），合并为与图像数据结构类似的特征张量输入网络。在此基础上，我们提出频率感知注意力（frequency-aware attention），从而实现不同频段信息的解偶联。如图2右，为了分别对高频和低频组分进行自注意力计算，特征按通道均分为二，分别使用不变散射变换和普通卷积变换投影后计算注意力，之后再经过通道间信息交互，从而实现信息融合，有效预防了高频细节信息的损失。为了降低计算量，我们采用金字塔结构，在Transformer的不同阶段进行特征降采样，最终输出预测标签。

图2 左：ScatterFormer的模型构架和基于脑电图多频谱表示的诊断流程。输入特征是经过多频谱表示处理的EEG片段。模型输出特征向量经过Softmax分类器得到预测标签。右：频率感知注意力模块的设计。普通卷积编码低频成分，散射变换编码高频成分，并分别计算自注意力。输出特征经线性层实现融合。

我们进一步在理论上证明了散射变化能够增加特征间相关性，从而降低模型高斯复杂度（Gaussian complexity）的上界。高斯复杂度反映了模型决策复杂度的限度，较低的上界与较高的泛化性相关。同时，增强特征相关性可以弥补transformer对于高频信息的不敏感。这提示散射变换不仅有助于模型提取脑电频谱中精细的特征，还能够增强神经网络对过拟合的敏感性，从而有助于在不同个体来源和同一个体不同活动状态（如睡眠、觉醒等）的脑电样本中检测癫痫样波形。实验在复旦大学儿科医院提供的Rolandic癫痫数据集以及一个公开的新生儿癫痫数据集上进行，任务分别为辨别正常人与癫痫患者发作波形以及辨别癫痫患者发作期与非发作期波形，评价指标使用AUC-ROC，F1-score等。如表1显示，ScatterFormer不仅在多个指标上优于其他方法，在跨个体的交叉验证中也表现出良好的泛化性，对真实临床诊断场景更加使用。

表1  ScatterFormer在Rolandic癫痫数据集（a）和新生儿癫痫数据集（b）上的表现。与现有的深度学习模型相比，我们的方法取得了优秀的效果和适度的推理时间。我们使用报告评估指标以四分位数间距(IQR)作为下标的中位数。为了与之前的研究比较，在新生儿癫痫数据集上我们还报告了平均值。LT表示推理时间延迟（latency）, Params表示模型参数量。

如图3，为了验证ScatterFormer确实能够防止高频成分的过度平滑，我们通过计算模型对输入样本的平均频率响应，发现两个自注意力分支确实能够有效捕捉高频和低频组分。值得注意的是，当我们将散射变换用Fourier变换加频域卷积取代后（称为FourierFormer），虽然双分支的注意力模块仍然能够有效提取不同频段的信息，模型最终的表现却略低于ScatterFormer.当模型采取普通的自注意力模块时（称为ProtoFormer）,频率响应显著集中于低频，而在高频段发生严重衰减。我们的结果指出基于散射变换的频率感知自注意力对缓解Transformer模型正向传播过程中高频特征的衰减具有良好效果，且有助于对模型性能和提高。

图3 不同模型变体的Fourier频谱分析。我们在第四层特征映射取100个随机样本的平均值，可视化Fourier频谱及频率响应曲线。在ScatterFormer（a）和FourierFormer（b）中都可见高频分支在高频段更强的频率响应，而在不采用频率感知注意力机制的ProtoFormer (c) 中则存在显著的低频偏好。

如图4，为了分析模型跨个体性能差异，我们对不同模型变体在数据集上进行交叉验证的结果采样核密度估计法计算其概率分布。在两个不同数据集上，ScatterFormer在各项指标上都表现出更加集中的分布，这提示ScatterFormer在与训练集分布相差较大的样本上仍然能够保持性能上的相对稳定，与我们得到的散射变换促进模型泛化性的结果相符合。

图4 各个评价指标在交叉验证各部分上表现的概率分布。采用核方法估计概率密度。ScatterFormer在分布上更集中，提示更好的平均表现和跨个体泛化性。

临床诊断对于深度学习算法的可解释性具有较高的要求，只有可解释的诊断模型才能在应用中得到临床医生的信任。我们对中间特征进行可视化并与癫痫样波形的时域特征进行比较，研究那些特征有助于模型的输出决策。如图5，与其他模型变体相比，ScatterFormer能有效地表征不同脑电通道中与高频尖波、棘波等关联的频谱特征，对应临床脑电专家诊断所依据的时域视觉信息，从而为模型的临床可解释性及稳健性提供坚实保障。
图片   图5 癫痫样波形及其相应的多频谱表示的可视化。Rolandic癫痫睡眠期间连续棘慢复合波在时域表现出尖锐的高频爆发活动，在频谱特征中存在对应的图样。在模型提取的中间特征中，ScatterFormer (c) 保留了更多局部频谱细节，这些细节对应于癫痫活动中的尖波和棘波模式。与FourierFormer (d) 和ProtoFormer (e) 相比，更不容易遭受高频信息的过度平滑。

本文提出了用于脑电癫痫样波形识别的ScatterFormer，首次将散射变换引入Transformer，并提出基于散射变化的高低频解偶联自注意力机制进行脑电频谱的表征学习。我们的方法能够有效标志癫痫相关的高频特征，其在不同个体之间的泛化能力具有理论保障。实验结果表明，ScatterFormer在跨个体癫痫样波形识别上具有更高的准确率和敏感性，优秀的泛化性，能够从多频谱融合特征中提取出与癫痫活动相关的组分，从而增强了可解释性，具有应用于真实临床场景，有效筛查潜在的癫痫患者，为早期精准诊断提供决策依据的广泛前景。
复旦大学智能复杂体系基础理论与关键技术实验室的郑睿哲同学和李俊青年副研究员为文章的共同第一作者，王艺教授和于玉国教授为本研究论文的共同通讯作者。

其他信息

本项研究受到科技创新2030-脑科学与类脑智能专项（2021ZD0201301, 2021ZD0200204），国家自然科学基金（U20A20221），上海市科技重大专项(2018SHZDZX01, 2021SHZDZX0103) 与张江实验室、上海市科学技术委员会优秀学术带头人计划(21XD1400400)的支持。

论文信息

Zheng R, Li J, *Wang Y，Luo T, *Yu Y, (2023), ScatterFormer: Locally-Invariant Scattering Transformer for Patient-Independent Multispectral Detection of Epileptiform Discharges, 37th AAAI Conference on Artificial Intelligence (人工智能顶会AAAI).

本文相关文献链接：https://arxiv.org/abs/2304.14919