这篇论文把面部情感预测写成了一个可检索的过程：图像特征进入任务相关空间，匹配某个视觉原型，再从该原型读出类别或分数。作者提出的AURA分别用于表情分类、动作单元检测和效价---唤醒度回归，视觉编码器在训练中保持冻结。文章关注的不只是三个任务的成绩，还包括原型怎样分配、同一原型下的面部结构是否接近，以及错误预测能否回查到相应的支持图像。
|--------|-----------|---|
| 01 | ｜论文来源 | |
【论文标题】
AURA: Visually Interpretable Affective Understanding via Robust Archetypes
【论文作者】
Guanyu Hu、Dimitrios Kollias、Xinyu Yang。论文署名单位包括西安交通大学、伦敦玛丽女王大学多模态人工智能中心及数字环境研究所。
【论文地址】
https://proceedings.mlr.press/v306/hu26z.html
【论文源码】
截至2026年11月8日，尚未检索到作者确认的公开源码仓库。不能把其他同名AURA项目当作本文实现。
【论文等级】
ICML 2026主会正式论文，收录于PMLR第306卷，页码45181---45211。ICML属于CCF-A类会议；中科院分区用于期刊，不用于这篇会议论文。
本文依据31页会议正式PDF整理，配图取自该版本。表1、表3按任务拆分，表8部分小图重复原始列名，未改实验数值。正文表2与附录表12内容相同，仅展示表2。本次未运行复现实验。
|--------|-----------|---|
| 02 | ｜论文背景 | |
从CLIP式分类出发，一个直接做法是为类别写提示词，再比较文本与图像特征。"Happiness"这样的词适合指明类别，却难以细分闭嘴浅笑与露齿大笑。详细描述可以增加区分信息，但选择哪些面部动作、如何表述强度，仍需要额外设计。AURA保留预训练视觉特征，将用于比较的参照改为经任务监督学习的向量。
三项任务对表征的要求也不同。表情分类输出离散类别，AU检测判断局部肌肉活动是否出现，VA回归则估计两个连续维度；分别设计提示模板，难以直接解决输出空间不同的问题。AURA希望绕开固定文字模板，直接在视觉表征中建立任务相关的参照。这里所谓的情感识别，仍是对数据集标注的预测，不等同于读取一个人的真实内在状态。
|--------|-----------|---|
| 03 | ｜方法动机 | |
作者把参照单位称为visual archetype。本文译作"视觉原型"，但它不是某一类样本的简单均值，也不是预先挑出的一张标准表情照片。原型是学到的向量，其含义通过被分配到它的面部图像呈现。
与"一类一个中心"相比，AURA允许同一类别保留多个局部模式。原型总容量先给出上限，哪些原型持续被使用、各类最终分配多少，由训练过程形成。分类任务需要类别间可区分，连续回归又需要邻近状态有平滑关系，因而不能让所有任务共享一套不加区别的几何约束。
|--------|-----------|---|
| 04 | ｜论文方法 | |
4.1 视觉投影：冻结编码器，学习任务相关空间
AURA不更新CLIP视觉编码器。训练前先提取特征，再优化后续模块；表情分类和VA回归默认采用全局特征，AU检测采用局部patch特征，并为不同AU设置独立投影与检测头。默认原型空间维度为32。
投影并非无监督降维。表情分类使用类别加权交叉熵，AU使用二元交叉熵，VA结合CCC与均方误差。三个任务遵循共同的原型学习原则，但有各自的空间、预测头和训练目标，不能据此称为一个模型同时联合训练三项任务。
Figure 1：AURA训练与推理流程，区分视觉投影、原型发现和上下文化
4.2 原型发现：最近匹配与任务相关拓扑
投影特征和原型归一化后，模型按余弦相似度选择最近原型。分配损失一方面使原型靠近特征分布，另一方面限制特征偏离所选原型；原型还接受任务标签监督。最近匹配只是入口，后续约束才决定这些向量如何组织。
对于表情分类，正则项兼顾类内紧凑、类间分离和多样性。VA及AU分支则根据预测分数差异，吸引分数相近的原型、排斥分数差异较大的原型，同时保留多样性。AU最终仍按二分类评价，这里的连续分数不能直接解释为经过校准的肌肉活动强度。
训练还记录每个原型的使用次数，对使用率过低的原型重新初始化，避免大量向量一直闲置。作者从过完备原型池出发，训练稳定后保留活跃子集。这里要分清初始上限Kmax和最终活跃数量Kstable：前者由实验设置给定，后者依据使用统计形成。原型容量的自适应发生在这两个数量之间，附录另有改变上限的验证。
4.3 上下文化：学习邻域关系，推理时不保留完整模块
AC模块先取出与当前特征最接近的R个原型，再把每个原型向量及其到样本的余弦距离编码成token。另一组语义token从冻结视觉特征中提取。两组token连同各自的汇总标记进入Transformer，得到两个上下文表示；门控模块为二者分配融合权重，融合结果交给任务头监督。原型与样本的距离因此参与了训练，而不只是用于事后画图。这一路的语义token仍来自图像，没有额外输入文字描述。
训练中三个目标的默认权重均为1，分别监督投影、原型发现与AC。测试时只走原型读出路径。FER在共享类别原型集合中取最近向量；VA为效价和唤醒度分别匹配各自的原型集合；AU则对每个动作单元分别完成匹配和检测。检索得到的向量送入相应任务头，AC不参与这一阶段的计算。配图中的支持人脸可用于检查某个向量所覆盖的外观，但不会替代向量参与预测。
|--------|-----------|---|
| 05 | ｜实验结果 | |
主表分为FER、AU和VA三个区块，评价量依次是准确率、平均F1和CCC。VA的第三列取前两列均值；按表中的百分制展示，74.1对应CCC为0.741。以下数值沿用原表单位。先读六个基准设置，再看解释性实验；消融与敏感性分析则单独讨论训练选择。
5.1 表情分类：三个设置分别改善多少
为什么做： 在三个表情分类设置中分别与既有方法比较。这样可以看出提高主要发生在哪一列，而不是只报RAF-DB上的一个成绩。
对应图表： Table 1的Facial Expression Recognition部分。
实验结果： RAF-DB、AffectNet-7、AffectNet-8三列为94.04%、68.43%、65.16%。为便于读出增量，这里选取三列均有成绩的MHAN作对照：92.57%、67.74%、65.08%，对应差值为1.47、0.69、0.08个百分点。其他基线仍保留在原表中。
实验结论： 相对MHAN的增量主要体现在RAF-DB；AffectNet-8这一列更接近持平。AURA在该列报告65.16±0.24，MHAN只列单个数值，缺少可对齐的多次运行结果。0.08个百分点可以作为报告值的差异，但不足以据此完成显著性判断。
Table 1分图：表情分类准确率与原表计算量口径
5.2 AU检测：原型能否保留局部结构
为什么做： AU检测把整脸类别判断拆成多个局部动作的检测。作者在DISFA和EmotioNet分别评价，用于检查原型方案在局部、多标签监督下的表现。
对应图表： Table 1的Action Unit Detection部分。
实验结果： 两个数据集的平均F1依次为66.9、67.3。DISFA列中的MDHR为66.2，EmotioNet列中的FUXI为65.4，AURA相对这两个对照分别高0.7与1.9个F1展示单位。附录的协议是：DISFA测试8个AU，强度大于2记为阳性；EmotioNet采用11个常见AU。
实验结论： 原型方案在两项AU任务上都有正向结果，但这里的对照分别是MDHR和FUXI，并非同一种基线。复现时尤其要保留DISFA的阳性阈值和8个AU的评价范围；更换阈值或AU清单，会改变平均F1的含义。
Table 1分图：DISFA与EmotioNet的AU检测F1
5.3 连续回归：不靠文字类别能否预测VA
为什么做： FER和AU不能回答连续回归问题。AffectNet-VA提供效价与唤醒度标注，可以直接检查原型读出是否能够拟合连续目标。
对应图表： Table 1的Valence-Arousal Estimation部分。
实验结果： AffectNet-VA上，效价CCC为78.0，唤醒度CCC为70.2，均值74.1。同表CMFR为77.0、69.0、73.0；CLIP-FT的均值为66.4。
实验结论： 原型读出能够用于连续目标，均值较CMFR高1.1个CCC展示单位。但输出仍由有限原型及任务头给出，不应理解为模型已经恢复了完整、无误差的连续情感空间。
Table 1分图：VA回归结果，CCC按原表乘100展示
5.4 分配与可视化：原型数量是否随任务变化
为什么做： 方法声称容量不是每类固定分配，需要同时查看原型数量、使用情况和空间分布。
对应图表： Figure 2、Table 3；附录Figures 3、5、6进一步展开相应类别与VA、AU空间。
实验结果： RAF-DB中Happiness有28个原型，Fear有6个。AffectNet-VA的唤醒度在−0.1，0.1区间有34个原型，效价同区间为20个。DISFA中，AU12低预测分数区间0，0.3有32个原型，高分区间0.7，1.0有9个。Figure 2展示了相应局部结构。
实验结论： 分配确实不均匀，也并非简单按区间等分。表3的Assigned Samples按模型分配计数，Dataset Samples按原标注计数，两者不同不能直接判作标注错误。密度还受样本分布影响，二维可视化本身不足以证明模型发现了人类情绪的真实几何。
Figure 2：RAF-DB、VA与AU任务的原型及支持样本可视化
Table 3分图：RAF-DB类别的原型数量与使用统计
Table 3分图：VA区间统计，斜线前后分别为唤醒度与效价
Table 3分图：AU统计，斜线前后分别为AU12与AU25，区间按原型预测分数分组
5.5 解释性评价：结构接近是否也能被人识别
为什么做： 好看的可视化还不够，作者用关键点距离和人工比较补充可检验的依据。
对应图表： Tables 4、5。
实验结果： 表4中，查询样本到所分配原型的归一化关键点距离平均为3.4，到其他同类原型为4.6。人工评价则为每个活跃原型抽取3张查询图，每张由5名独立标注者比较"分配原型"和"同类干扰原型"。选择前者的比例为76.9%，后者为23.1%。
实验结论： 两种评价都支持原型具有类内面部结构一致性。人工任务问的是哪个参照在面部结构上更相似，并非让参与者确认图中人物的内在情绪，也不是76.9%的情绪识别准确率。
Table 4：同类原型之间的面部关键点距离比较
Table 5：人工判断面部结构相似性的结果
5.6 诊断与失败案例：解释如何用于回查
为什么做： 识别系统不仅要展示正确案例，也需要说明模型与标注不一致时，能提供什么线索。
对应图表： Figure 4及Figure 8，附录C.2和E。
实验结果： Figure 4(a)将Neutral与Sadness之间的分配冲突并排展示，4(b)给出原型、CLIP及POSTER++的UMAP图。Figure 8则换成预测错误的查询样本：右下Fear P1的支持图像以张嘴等构型为主，分配过来的查询图中却有标注为Happiness和Sadness的人脸；Happiness P3下也出现Neutral样本。附录E另列裁切、遮挡和模糊带来的失效情况。
实验结论： 这些图的用途是定位分配依据。检查者可以回看查询图与支持图共享了哪些面部构型，而不是只看到一对混淆标签。至于原标注有误、类别边界含混还是模型匹配错误，仍需另外复核；作者展示的分配冲突本身没有给出三者的裁决。
Figure 4：标注歧义候选与不同表征的UMAP分布比较
Figure 8：误分类样本及其匹配原型的支持图像
5.7 原型与VQ对照：收益是否只是最近匹配
为什么做： AURA也采用最近向量分配，需要与已有原型方法比较，并在受控条件下替换其学习策略。
对应图表： Tables 6、7；Figures 3、7提供Surprise类别的定性对照。
实验结果： 表6中，AURA的RAF-DB准确率为94.04%，MPA-FER为93.74%。表7固定编码器、投影、任务头及100个学习单元的总预算，普通VQ为89.0%，AURA为94.0%。Surprise分别分到4个代码和15个原型；覆盖超过50个样本的单元数量分别为47和93。
实验结论： 受控替换表明，仅有最近分配和固定预算不足以复现完整方法的成绩。差异来自成组改变的原型学习策略，不能把5个百分点全部归给某一个正则项。
Table 6：AURA与代表性原型及代码本方法的比较
Table 7：同预算AURA与普通VQ的类别分配和准确率
5.8 组件消融：哪些训练约束更关键
为什么做： 进一步拆开投影、上下文化、判别监督与拓扑约束，观察完整成绩依赖哪些组件。
对应图表： Table 8第0---9行。
实验结果： 完整配置的RAF-DB准确率为94.0，VA的CCC为74.1。取消VAS投影后，两列是88.1与66.2；保留投影但取消投影层判别监督时，则是93.5与72.2，这两种操作要分开读。去掉原型判别监督得到89.3与69.8；去掉上下文化得到92.7与73.7。拓扑约束移除后，DISFA的F1从66.9到64.3，VA为71.2。
实验结论： 仅看投影相关的两行就能发现，学习一个任务空间和在该空间上施加判别监督并非同一项改变。原型层的监督也不能被投影层监督替代。AC的证据来自训练阶段有无该模块的比较，消融后最终读出成绩下降，与部署时省去AC的设计相符。
Table 8分图：完整模型与组件移除结果
5.9 投影维度：32维是否有实验依据
为什么做： 在相同框架中改变投影输出维度，观察低维表示的容量是否影响四个评价设置。
对应图表： Table 8第10---12行。
实验结果： 候选维度为16、32、64。RAF-DB准确率依次是91.3%、94.0%、93.1%，DISFA的F1为61.5、66.9、64.1，VA的CCC为69.0、74.1、73.5。原表还报告AffectNet-8的准确率为60.2、65.2、64.9。
实验结论： 四个设置在32维这一行均取得本组最高值，默认维度因此不是单凭经验选定的。16到32维的变化在DISFA上尤其明显，F1相差5.4；32到64维则没有继续获益。该结果限定于表中的三个候选维度及其训练条件。
Table 8分图：VAS维度比较，重复原表列名
5.10 特征粒度：全局与局部并非固定优劣
为什么做： 对同一任务切换全局特征与patch特征，检查默认粒度的取舍是否与实际成绩一致。
对应图表： Table 8第13---14行，附录F.5。
实验结果： DISFA换用patch特征后，F1从62.3到66.9，提高4.6；RAF-DB从94.0%到94.3%。另一侧，AffectNet-8从65.2%到64.7%，VA的CCC从74.1到73.5，均低于全局特征。
实验结论： DISFA的4.6点差值最清楚地支持了局部特征的选择；RAF-DB的变化小得多。作者在附录中结合人脸对齐与野外图像变化解释这一现象，最终仍将全局特征作为FER、VA的默认输入，patch作为AU的默认输入。这是按任务取舍，而非统一采用更细粒度的表示。
Table 8分图：全局与patch特征比较，重复原表列名
5.11 初始容量：活跃原型是否受上限控制
为什么做： 把容量上限与最终使用数量分开测量。增加Kmax后，若Kstable仍落在较窄范围内，才有依据讨论有效容量的稳定性。
对应图表： Table 9。
实验结果： RAF-DB的四个初始上限为150、200、300、400；稳定后的活跃数依次是100、99、102、101。对应准确率为94.1%、94.0%、94.2%、94.1%，收敛轮次为153、147、158、155。上限差了一倍以上，活跃数只在99---102之间变化。
实验结论： 这些结果把"初始化多少向量"和"最后使用多少向量"区分开了：后者没有随初始预算扩大而同步增加。不过，重置阈值、投影维度等设置仍然存在，实验检验的是Kmax的这四个取值，而不是所有设置都可以省去。
Table 9：初始原型上限、活跃数量与收敛情况
5.12 损失权重：成绩与收敛速度如何变化
为什么做： 以三个权重均为1作为参照，一次改动一项，分别记录最终成绩和达到收敛所需的轮次。
对应图表： Table 10。
实验结果： 单项权重设为0.5或1.5、其余取1时，RAF-DB准确率范围93.8%---94.3%，EmotioNet的F1为66.8---67.3，VA的CCC为73.9---74.2。VA收敛轮次从175到207；默认配置为188轮。
实验结论： 就VA而言，上下文化权重取0.5时需207轮，取1.5时为175轮，最终CCC却分别是74.0和74.2。权重对优化过程的影响比最终成绩更明显。因此，等权是可用的默认设置；关于稳健性的依据仍限定在这组单因素扰动内。
Table 10：三个损失权重的单因素敏感性实验
5.13 拓扑边界：不同任务的margin是否同义
为什么做： 扫描拓扑约束的边界参数，观察不同任务的敏感区间，同时核对同一margin记号在各任务中的实际含义。
对应图表： Table 11。
实验结果： 作者测试0.1至0.5的margin。RAF-DB在0.3时为94.1%，EmotioNet在0.3与0.4时F1均为67.3，VA在0.2时CCC为74.1。各任务的最高值没有出现在同一行，0.1和0.5时部分指标较低。
实验结论： 0.2---0.4是本表较稳定的区间。FER控制的是类中心之间的相似度上限，VA、AU控制的则是原型距离边界；用于区分分数相近与否的另一阈值始终固定。复现时应沿用对应损失中的定义，而不能把这些数值直接当成一个跨任务共享的距离阈值。
Table 11：任务相关拓扑margin的敏感性实验
5.14 更换编码器：是否只能依赖CLIP
为什么做： DINO不以图文对齐为预训练目标，替换CLIP后可以检查原型框架对这种视觉特征是否仍然有效。
对应图表： Table 2，附录Table 12重复该组结果。
实验结果： 在RAF-DB、AffectNet-VA、EmotioNet三列，冻结DINO加AURA得到92.6、72.0、65.4，DINO端到端微调得到88.3、65.4、60.7。冻结CLIP加AURA则为94.0、74.1、67.3，绝对成绩更高。
实验结论： DINO这一组说明，观察到的收益并非只出现在具有图文语义对齐的CLIP上。表中的两条DINO路径分别是冻结后学习原型和全量微调，训练方式也随之改变；据此可以讨论框架的适用范围，但不能单独分离预训练与优化方式的全部作用。
Table 2：CLIP与DINO下的微调和冻结加AURA比较
5.15 跨数据集：离开训练分布是否仍有效
为什么做： 把训练集和测试集分属不同数据库，并让AURA保持训练后参数不变，检验学到的原型在分布变化下能保留多少识别能力。
对应图表： Table 13。
实验结果： AffectNet-7训练、RAF-DB测试时，AURA为79.4%；反向为51.7%。同表两个方向最好的其他成绩分别是SE-ResNet的77.4%和NOTE的49.6%。AURA不做目标域测试时适配，TTA方法允许适配。
实验结论： 两个方向的成绩均高于同表对照，且AURA没有使用目标域TTA。不过，RAF-DB到AffectNet-7只有51.7%，与同库评价相距较大。这里得到的是两套七类数据之间的迁移结果；论文未用这张表测量人口子群或跨文化部署表现。
Table 13：AffectNet-7与RAF-DB双向迁移结果
5.16 端到端效率：冻结编码器也需要计算
为什么做： 明确主表的计算量从哪一步开始统计：是已经得到冻结特征，还是输入一张尚未编码的图像。
对应图表： Table 14，并结合Table 1的效率列。
实验结果： 表14在A100 40GB PCIe上分别测量各段流程。AURA模块为3.30M参数、0.26G FLOPs，直接读取缓存特征时报告0.007ms/图。若把冻结CLIP的特征提取算入，在线配置为152.55M参数、22.06G FLOPs、0.440ms/图，峰值显存4.67GB。作者同时列出的运行环境包括Xeon Gold 6330、256GB内存、CUDA 12.1和PyTorch 2.1。
实验结论： 缓存与在线两行的输入条件不同，不能用0.007ms代表从图像开始的完整推理。3.30M、0.26G描述的是特征提取之后的模块；在线一行才纳入冻结骨干的计算。复现者应先选择与部署场景对应的行，再测量本机时延及显存，而不是混用两种口径。
Table 14：特征提取、缓存特征推理与在线推理的完整成本
|--------|---------|---|
| 06 | ｜结论 | |
这项工作用任务相关视觉原型组织冻结特征，分别完成FER、AU检测与VA回归。训练包括投影、原型发现和AC；测试时固定活跃原型，经余弦匹配与任务头读出结果。六项基准评价之外，论文统计了原型分配，并用关键点距离、人工面部相似性判断和失败案例检查其解释方式。附录进一步报告组件消融、参数选择、DINO替换、双向跨库测试和分配置效率测量，共同构成AURA的实验验证。