《基于机器学习的脑电认知负荷识别研究与应用》论文笔记

研究目的

人机交互任务中的认知负荷，是在执行特定任务过程中大脑资源的占用程度 或者心理压力的主观感受程度。

基于脑电（EEG）的认知负荷识别相比于主观量表更加客观、稳定、可靠，现已得到广泛的关注。其是指通过统计学习和机器学习方法检测能表征认知负荷水平高低的 EEG 指标。

由于 EEG 信号的时域非平稳、任务敏感性、被试差异性等特性，目前通用的跨任务（即适用于不同认知任务）\跨被试（即适用于不同被试）的认知负荷识别模型还存在泛化表现差、准确率低的问题，限制了预先训练模型扩展到实际场景下新认知状态\新被试的推广性。实现跨任务\跨被试认知负荷评估是从实验室走向实际应用必要的步骤，因此对认知负荷模型的泛化性开展研究具有重要意义。

本文致力于结合 EEG 分析和机器学习子领域方法（主要是领域自适应）构建面向认知负荷

识别的泛化模型，来解决跨任务和跨被试的模型泛化性差的问题 。本文围绕任务间表征不稳定、

被试个体差异大、类别结构信息未充分利用、目标域数据不可用等问题展开研究。

认知负荷识别流程范式

预处理阶段

可以使用EEGLAB软件包进行处理，处理流程范式如下：

滤波

首先通过进行适当的滤波以消除50Hz工频干扰、高频噪声和极低频噪声的影响。文献中常用特定频率过滤 EEG 信号，包括带通滤波器和陷波滤波器。对于带通滤波器 （如使用 0.5 Hz 至 50 Hz），在该范围内的信号频率得以保持，而该范围外的频率被衰减。50Hz陷波滤波器用于通过衰减相应的频率来降低工频干扰。

重参考

重参考指 EEG 信号的线性变换，通过这种变换可以把参考电极中的噪声转化为头皮电极中的噪声。通常将 EEG 信号重参考到电极的共同平均值或特定通道，如乳突或中央电极 CZ 等。

下采样

由于不同采集设备的采样率不同（即一秒钟记录多少个数据点），下采样旨在减少单位时间内的数据量从而提高计算速度，或者将不同设备采集到的数据进行统一，例如从 1000 Hz 下采样到 256 Hz，这一步不是必须的。

分段

分段指提取特定于感兴趣事件的数据段，即围绕刺激或正确反应的数据段，以便于研究 EEG 信号中与任务/刺激相关的变化。

去除或插值坏导

去除或插值坏导指不能准确提供大脑活动信息的坏通道，可以直接移除，或者用它们附近的好通道进行插值。研究者为了避免信息丢失，通常使用插值来代替去除。但是会损失空间分辨率。

去噪

去噪方法包括去除和校正。噪声去除指对于较大的噪声如眨眼等，通过人工检查并去除 被污染的 EEG 数据段；噪声校正指对于小的和恒定的伪影如心电噪声等，通过估计噪声对 EEG 信号的影响，并使用**校正过程（例如独立成分分析）**来校正。

特征提取

时域分析

时域特征主要包括事件相关电位 （Event Related Potential，ERP）、统计特征 （如均值、标准差、方差、峰度、偏度）、能量、功率、高阶交叉分析、Hjorth 参数等。其中，ERP 是 EEG 信号的平均峰值并对离散刺激进行时间锁定。已经发现几种早期和晚期 EPR 成分对任务难度水平敏感[29]。例如，由并发任务的目标引发的P300 成分的振幅随着认知负荷难度增加而减少，并且它被认为是认知负荷识别的可靠指标。

频域特征

通过傅立叶变换将时域信号转换到频域，可以将其分解成几个与人类神经活动密切相关的子带，如 δ（1-4hz）、θ（4-8hz）、α（8-13hz）、β（13-30hz）和 γ（30-80 Hz）频段。δ、θ、α、β 和 γ 频段分别与深度睡眠、昏昏欲睡、放松、忙碌、清醒和活跃状态相关。表 1.1 给出了 EEG 信号不同频段的样例。随着认知负荷难度的增加，α 频段功率减小和 θ 频段功率增大等变化可以作为认知负荷识别的指标。

功率谱、能量、功率谱密度（Power Spectral Density，PSD）、与事件相关的同步/去同步。

时频域分析

时频域分析研究频谱如何随时间和频率变化，此时主要依据 EEG 信号的非平稳性假设。通常采用滑动窗口方法并假设窗口内的信号是平稳的，然后使用频域分析技术来计算特征。相关的方法包括具有固定窗函数的短时傅立叶变换 ，利用小波函数自适应地改变窗大小的小波变换（包括连续小波变换和离散小波变换），以及经验模式分解（非线性方法）。

空间域分析

空间域特征依据 EEG 采集电极放置在不同的大脑区域以提供一些空间信息。EEG 信号采集电极的分布可分为额叶、顶叶、枕叶、颞叶皮层和中央区。研究表明，额叶和顶叶区域对认知负荷的变化敏感。因此，有研究直接使用这些区域的电极数据进行认知负荷分析。有研究者进一步使用空间滤波方法提取空间特征，如主成分分析、独立分量分析、公共空间模式和典型相关分析。空间滤波方法从数据中学习滤波器并用其将 EEG 信号投影到低维子空间，然后根据这些投影构建特征。空间滤波方法广泛用于运动想象分类问题，现在也被用于增强认知负荷识别。

非线性动力学

EEG 信号是非线性和非平稳的。这里，非线性意味着大脑活动不是频段分量的线性组合，非平稳意味着频段分量随着时间的推移在幅度或形状上发生变化。非线性动态特征被用于表征 EEG 信号的非线性特征。常用的非线性特征包括复杂性特征和熵特征 。复杂性分析主要研究时间序列的随机程度，如复杂性 及其变种。熵特征反映信号波动和不可预测性，包括香农熵、近似熵、样本熵等。其中香农熵基于振幅值的概率分布来测量概率密度。近似熵基于先前振幅值的信息来测量信号的未来振幅值的可预测性。

功能连接特征

研究人员还使用功能连接特征建模来表征不同 EEG 信号电极或大脑区域之间的相关关系。功能连接特征可以通过皮尔逊相关系数、锁相值、锁相指数和部分有向相干等方法来构建。例如，有研究者使用皮尔逊相关系数计算多波段的连接特征，并用其对二分类认知负荷水平进行识别，发现识别特征大多位于额叶区域的 θ 和 β 频段。

基于迁移联合适配的跨任务认知负荷识别

针对上述问题，本章将典型域自适应方法 引入认知负荷领域，并构建跨任务认知负荷识别框架。通过特征迁移的方式减轻被试个体间、任务间的分布差异，以解决现有跨任务认知负荷识别精度不高等问题。具体来说，本章首先设计一个细粒度的认知负荷实验诱发范式，包括字母序列记忆和数学加法任务。然后采用留一任务交叉验证，将每个被试的任一任务视为一个域，进而选取四种域适应方法来减少两个认知任务之间的特征分布差异 。最后，基于 SVM 分类器，在高和低两个认知负荷水平上进行分类。实验结果表明，提出的跨任务迁移框架优于非迁移分类器，平均准确度提高 3%到 8%，并且迁移联合适配方法始终达到最佳性能。

特征提取

实验选取常用的功率谱密度特征（power spectral density, PSD）和谱相干特征（Coherence, COH） ，并组合这两类特征作为 EEG 特征 。PSD 特征是最为常见的负荷相关特征，它描述信号的功率随频率的变化情况。基于短时傅里叶变换计算脑电数据 5 个频段的 PSD 和COH。短时傅里叶变换将移动窗口信号划分为小的连续数据帧，然后将快速傅立叶变换应用于每个帧。

选取的迁移学习方法

在跨任务场景中，源域是有标签的训练数据（如 A 任务的 EEG 数据 + 负荷标签），目标域是无标签的测试数据（如 B 任务的 EEG 数据）。由于两任务的 EEG 特征分布不同（任务敏感性导致），直接用源域模型测试目标域会准确率下降。这 4 种方法均通过特征空间转换 或分布对齐，让源域和目标域特征更相似，从而让模型适配目标域。

迁移成分分析（Transfer Component Analysis, TCA）

核心原理：一种基于核方法的特征降维与分布对齐技术，核心是找到一个共享低维特征空间，让源域和目标域在该空间中的边缘分布（仅考虑特征本身，不考虑标签）尽可能接近。
数学逻辑 ：
- 用**最大均值差异（MMD）**衡量源域和目标域的分布差异，MMD 值越小，分布越相似。
- 通过求解优化问题，找到转换矩阵 W，将高维 EEG 特征（如 PSD+COH 的 9735 维特征）映射到低维空间，同时最小化 MMD 差异、保留原始数据的方差结构。
关键操作：仅对齐 "边缘分布"（即 P (X_s) ≈ P (X_t)，X 为特征），不考虑特征与标签的关联（条件分布 P (y|X)）。
优点：计算简单、效率高，适合处理高维 EEG 特征（如论文中 9735 维特征），能有效降低维度灾难。
缺点：仅关注边缘分布，忽略条件分布差异，当两任务的 "特征 - 标签" 关联模式不同时，效果有限。

联合分布自适应（Joint Distribution Adaptation, JDA）

核心原理 ：在 TCA 的基础上，同时对齐 "边缘分布 " 和 "条件分布"，即不仅让 P (X_s) ≈ P (X_t)，还让 P (y_s|X_s) ≈ P (y_t|X_t)，实现更全面的分布匹配。
数学逻辑 ：
- 边缘分布对齐：沿用 TCA 的 MMD 方法。
- 条件分布对齐：由于目标域无标签，先通过源域模型预测目标域的 "伪标签"，再对每个类别计算类内 MMD，对齐同类别的源 - 目标域分布。
- 迭代优化：多次更新伪标签和转换矩阵 W，逐步提升分布对齐精度。
关键操作：通过 "伪标签迭代" 解决目标域无标签问题，同时优化两类分布差异。
优点：相比 TCA，考虑了类别信息与特征的关联，对齐更全面，跨任务识别准确率更高。
缺点：伪标签的准确性会影响效果，迭代过程增加了计算复杂度；假设边缘分布和条件分布对域差异的贡献相同，可能不符合实际场景。

平衡分布自适应（Balanced Domain Adaptation, BDA）

核心原理 ：对 JDA 的改进，引入**"平衡因子 μ"（0≤μ≤1）**，调节边缘分布和条件分布在对齐过程中的权重，解决 JDA 中 "两类分布贡献相等" 的不合理假设。
数学逻辑 ：
- 联合分布差异定义为：D ≈ (1-μ)× 边缘分布差异 + μ× 条件分布差异。
- 当 μ→0 时，侧重对齐边缘分布；当 μ→1 时，侧重对齐条件分布，可根据任务特性调整。
关键操作：通过网格搜索等方式确定最优 μ 值（如论文中 μ 取 0.1~1 之间的数值），适配不同跨任务场景（如工作记忆→数学计算、数学计算→工作记忆）。
优点：比 JDA 更灵活，能根据任务差异调整对齐重点，减少伪标签误差带来的影响。
缺点：需要额外优化平衡因子 μ，增加了超参数调优的工作量；对 μ 的取值敏感，需大量实验验证。

迁移联合适配（Transfer Joint Matching, TJM）

核心原理 ：同时考虑 "特征分布对齐" 和**"训练样本重加权"**，既减少源 - 目标域的分布差异，又给与目标域相似的源域样本更高权重，给无关样本更低权重，提升模型对目标域的适配性。
数学逻辑 ：
- 分布对齐：沿用 MMD 方法最小化边缘分布差异。
- 样本重加权：通过稀疏正则化（L2,1 范数）对源域样本施加权重，让与目标域特征相似的样本在训练中起更大作用。
- 优化目标：同时最小化分布差异和稀疏正则项，找到最优转换矩阵 W。
关键操作：将 "分布对齐" 和 "样本筛选" 结合，避免源域中无关样本（如与目标域差异极大的被试数据）对模型的干扰。
优点：兼顾分布差异和样本相关性，鲁棒性最强，论文中表现最优（跨任务准确率提升 3%~8%）；对 EEG 数据的个体差异、任务差异容忍度更高。
缺点：计算复杂度最高，需要同时优化分布差异和样本权重，适合数据量适中的场景（如论文中 38 名被试的数据集）。

实验结果

准确性

特征提取

由于功能连接特征（即研究中使用的 COH 特征）可以更好地反映 EEG 电极之间的相关性，因此本章 COH 比 PSD 获得更好的识别结果。

特征重要性

在这里，整个大脑区域被分为额叶、中央、枕叶、顶叶和颞叶。可以发现同一任务中的 PSD 分布具有相似的模式，但在两个认知任务之间有所不同。

颜色条表示COH 变化，颜色越深表明差异越大。可以发现，两个任务的 COH 差异性分布模式相似，其中额叶区域的 δ 频段 COH 值有增加的趋势，而中央和枕叶区域的和频段的 COH 值有减少的趋势。

基于联合浅层和深层域适应的跨被试认知负荷识别

本章提出一种联合浅层和深层深度域适应的跨被试认知负荷识别方法，利用现有被试（即源域）的知识来提高新被试（即目标域）的识别性能。本章模型由四个模块组成，即 EEG 特征提取器、标签分类器、特征分布对齐和域判别器。EEG 特征提取器用来学习源域和目标域的浅层特征表示。标签分类器被进一步用来学习深度表示并训练有监督的分类器。最后，特征分布对齐模块对齐浅层特征分布差异，域判别器通过与特征提取器的对抗性训练对齐深层分布差异。本章模型不仅能学习领域不变特征，而且在端到端的训练框架中实现了鲁棒的领域自适应跨被试识别结果。在自采的工作记忆任务数据集和公开的 MATB 任务数据集上进行低和高负荷的二分类实验。

（A）训练阶段

特征提取器（共享网络，图中中间的全连接 / CNN 网络）
- 作用：把源域、目标域的原始 EEG 数据（比如 59 通道的时间序列），统一映射为高维特征向量（即 "源域特征" 和 "目标域特征"）。
- 设计逻辑：所有被试共享同一个特征提取器，强制模型学习跨被试通用的 EEG 特征表示（比如认知负荷相关的 θ 频段功率、额叶 - 顶叶 COH），而非仅适配源域被试的个性化特征。
对齐模块（MMD 损失 + 域判别器）：实现跨被试分布对齐
- MMD 损失：衡量 "源域特征" 和 "目标域特征" 的边缘分布差异（和 TCA 中的 MMD 一致），损失越小说明两类特征的整体分布越接近。
- 域判别器 ：是一个二分类器，输入 "源域 / 目标域特征"，输出 "域标签"（判断特征来自源域还是目标域）；同时，特征提取器会对抗训练（类似 GAN）：对抗训练的目的是使特征提取器学到的特征能够混淆域判别器时，即域判别器无法区分特征是来源于目标域还是源域，进而使得学到的特征在两个域上具有一定的泛化性和不变形。
- 设计逻辑：MMD 对齐 "全局分布"，域判别器通过对抗学习对齐 "细粒度分布"，双机制共同减少跨被试的特征差异。
标签分类器：学习认知负荷的分类规则
- 作用：输入 "源域特征"，输出 "负荷标签"（低 / 高负荷），通过 "分类器损失"（比如交叉熵）让模型学到 "特征→负荷" 的关联模式。
- 设计逻辑：仅用源域的标签训练（目标域无标签），但因为特征提取器已经学到了域不变特征，所以分类规则能迁移到目标域。

（B）测试阶段：用训练好的模型适配新被试

测试阶段仅输入目标域数据（新被试的 EEG）：

先通过 "特征提取器" 得到目标域特征（此时特征已符合域不变模式）；
再输入 "标签分类器"，直接输出该被试的认知负荷标签。

模块设置

在对原始 EEG 样本进行预处理后，可得到具有形状大小为（E，T）的原始时间序列，其中 E 是通道数，T 是时间点。以 Model B 为例，首先将原始时间序列输入到 128 个隐含单元层（第一层）和 64 个隐含单元层（第二层）FC 层中，以提取浅层特征表示。经过特征提取器学习之后的样本的输出形状大小为（E，64）。EEG 特征提取器的激活函数是 ReLU。将浅层特征表示输入到标签分类器中，以进一步学习和训练模型分类器。标签分类器由几个 FC层组成，包括深度表示层，和用于将模型预测转换为认知负荷类标签的 Sigmoid 函数，其他层的激活函数为 ReLU。域判别器具有与标签分类器相同的结构。实验中实现四种配置，并选择一种结果最好的配置作为最终使用的模型。

实验

准确率

基于类别和域对齐的跨被试认知负荷识别

针对跨被试认知负荷识别模型未充分利用数据类别信息的问题，本章提出联合类别信息
和域信息的双分类器域适应模型。本章模型主要包含三部分子模块：基于 CNN 的特征提取
模块，类别信息对齐模块和域信息对齐模块。首先通过引入双分类器学习考虑类别间的相似

信息，通过衡量两个分类器的预测差异考虑类别间的差异信息，结合分类器差异损失和中心

损失实现不同域的类分布对齐。其次通过域判别对抗学习考虑全局域的信息。联合局部类别

信息和全局域的信息，可以更好地构建跨被试认知负荷识别模型。在自采的工作记忆任务数

据集和公开的 MATB 任务数据集上进行低负荷和高负荷的二分类实验。实验结果表明，本

章模型可取得较为鲁棒的跨被试认知负荷识别结果。

整个流程是端到端的训练过程，同时输入 "源域数据（有标签）" 和 "目标域数据（无标签）"，通过多个损失约束模型学习：

1. 特征提取（共享特征编码器 E）

源域数据（比如被试 A 的 EEG）和目标域数据（比如被试 B 的 EEG），都输入到同一个特征提取器 E中；
E 会输出对应的特征向量（源域特征、目标域特征）------ 这一步的核心是 "共享编码器"，强制模型学习跨被试通用的 EEG 特征（比如认知负荷相关的 θ 频段功率、脑区 COH），避免过拟合某一被试的个性化特征。
图中 "Attention block"（注意力模块）是 E 的子组件：作用是让 E 自动关注与认知负荷相关的 EEG 通道 / 频段（比如额叶通道、θ 频段），过滤无关信息，提升特征的判别性。

2. 双分类器（C₁、C₂）抓 "类别信息"（核心创新）

源域特征会同时输入到两个分类器 C₁和 C₂中，输出两个负荷预测结果 p₁、p₂，通过 3 种损失约束类别信息的对齐：

① 监督损失：针对 C₁的预测 p₁，用源域的真实负荷标签计算损失（比如交叉熵）------ 让 C₁学到 "特征→负荷" 的正确关联；
② 差异损失：衡量 C₁和 C₂的预测结果 p₁、p₂的差异（比如 MSE）------ 让两个分类器的预测尽可能一致，保证 "负荷类别对应的特征模式" 是稳定的（跨被试通用）；
③ 中心损失：针对 C₂的预测 p₂，计算 "同一类别特征的中心紧凑度"（比如让所有 "高负荷" 特征的均值更集中）------ 强化类别内的特征一致性，同时拉开不同类别（低 / 高负荷）的特征距离。

3. 域判别器 D 抓 "域信息"（对齐跨被试分布）

源域特征和目标域特征都会输入到域判别器 D 中，输出域预测 d（判断是源域还是目标域），通过域损失约束：

域损失是 "对抗损失"（类似 GAN）：特征提取器 E 要尽量让 D "分不清" 特征来自源域还是目标域，而 D 要尽量 "分清楚"；
最终结果是 E 学到域不变特征（源域和目标域的特征分布更接近），减少跨被试的个体差异对识别的影响。

流程的核心逻辑："类别信息 + 域信息" 双对齐

这个流程的设计是为了同时解决两个问题：

类别信息对齐：通过双分类器 + 3 种损失，让 "低 / 高负荷" 对应的特征模式在源域和目标域中一致（比如被试 A 和 B 的 "高负荷" 都对应 θ 频段功率升高）；
域信息对齐：通过域判别器的对抗学习，让源域和目标域的整体特征分布更接近（减少被试间的个性化差异）。

两者结合后，模型既学到了 "认知负荷的通用类别模式"，又适配了 "不同被试的特征分布差异"，最终提升跨被试识别的准确率。

实验

基于域泛化的跨被试认知负荷识别

本章针对跨被试认知负荷识别精度低等问题，提出一种基于卷积神经网络和领域泛化的联合共享特征优化方法。该方法通过使用已有操作员（源域）的数据提高未知操作员（目标域）的认知负荷识别性能，其主要包括 3 个模块：深度特征提取器、标签分类器和领域泛化器。深度特征提取器学习可迁移的源域之间的共享知识表征；标签分类器进一步学习深层表征并预测负荷级别；领域泛化器通过与特征提取器进行对抗训练来减少源域间的数据分布差异，从而保证学习特征的共享性。

1. 第一步：多源域数据输入特征提取器

所有源域（不同被试）的 EEG 数据，都输入到同一个特征提取器中；
特征提取器的结构（时间卷积 + 空间卷积）是为 EEG 数据定制的：
- 时间卷积层：捕捉 EEG 信号在时间维度的变化（比如认知负荷升高时 θ 频段的功率变化）；
- 空间卷积层：捕捉不同脑区电极间的空间关联（比如额叶 - 顶叶的 COH 特征）；
- 平均池化层：压缩特征维度，减少冗余，提升泛化性；
最终输出每个源域对应的特征（源域 1 特征、源域 N-1 特征）------ 这一步强制模型学习所有被试共有的 EEG 模式，而非某一被试的个性化特征。

2. 第二步：标签分类器 ------ 学习 "特征→负荷" 的关联

所有源域特征都输入到标签分类器 （全连接网络）中，输出对应的负荷标签（低 / 高负荷）；
训练时通过 "分类损失"（比如交叉熵）约束：让标签分类器能准确区分不同源域的负荷类别，保证特征的类别判别性（不管是哪个被试的特征，都能正确识别负荷）。

3. 第三步：领域泛化器 ------ 强制特征 "与被试无关"（核心创新）

这是域泛化的关键，通过 "对抗学习" 让特征提取器忽略被试的个性化差异：

领域泛化器 的输入是所有源域特征，输出是领域标签（判断特征来自哪个源域，比如 "源域 1""源域 2"）；
梯度反转层（GRL）是核心组件：
- 前向传播时，GRL 不改变特征（直接传递给全连接层）；
- 反向传播时，GRL 会将梯度乘以一个负数（比如 - 1），实现 "对抗训练"：
  - 领域泛化器的目标：尽量准确区分特征来自哪个源域（通过 "领域损失" 约束）；
  - 特征提取器的目标：尽量让领域泛化器 "分不清" 特征来自哪个源域（通过 GRL 的梯度反转，倒逼特征提取器输出域不变特征）；
最终效果：特征提取器学到的特征 "只包含认知负荷的信息，不包含被试的个性化信息"，因此能直接泛化到新被试。