通用多模态大模型能够描述面部表情，但对眉眼、嘴角等局部变化的利用仍不充分。EMO-LLaMA围绕这一问题，将面部先验与通用视觉特征结合，并构建包含类别问答和对话描述的FERID指令数据，在同一框架中处理图片与视频。六个表情识别基准及相关消融显示，面部信息融合与指令微调能够改善部分识别指标，但不同数据集、类别与评价口径下的收益并不一致。本文依次介绍其研究背景、方法设计与实验结果。
|--------|-----------|---|
| 01 | ｜论文来源 | |
【论文标题】
EMO-LLaMA: Enhancing Facial Emotion Understanding with Instruction Tuning
【论文作者】
Bohao Xing、Zitong Yu、Xin Liu、Kaishen Yuan、Qilang Ye、Weicheng Xie、Huanjing Yue、Jingyu Yang、Heikki Kälviäinen。
【论文地址】
https://link.springer.com/article/10.1007/s11263-026-02918-9
【论文源码】
https://github.com/xxtars/EMO-LLaMA
截至2026年10月26日，官方仓库可见README与assets目录，尚未核实到完整训练、推理代码。
【论文等级】
International Journal of Computer Vision（IJCV），CCF-A类期刊，2026年7月15日正式发表，Volume 134，Article 350。
本文依据期刊正式版本整理。原论文采用CC BY 4.0许可，图表引自Xing等人的原文，已裁切并调整显示尺寸；补表1为正文数据整理。许可地址：https://creativecommons.org/licenses/by/4.0/
|--------|-----------|---|
| 02 | ｜论文背景 | |
在闭集表情识别任务中，模型需要从给定类别里作出选择。输入可以是一张图片，也可以是一段视频；区别在于只有某一时刻的外观，还是有机会观察帧间变化。两类任务往往分别设计网络，再在各自的闭集标签上计算准确率或召回率。对这套流程而言，输出"快乐"已经完成任务，进一步描述眉眼、嘴部状态，并不在分类目标之内。
作者希望保留这样的识别能力，又让模型能够回答面部相关问题。难点在视觉端：通用图文预训练并不专门监督眉毛、眼睑或嘴角的细微运动。语言端即使能生成流畅回答，也可能是在有限视觉线索上补全描述。论文因此没有仅做标签问答化，而是另建面部分析分支，并配套构造指令数据。
|--------|-----------|---|
| 03 | ｜方法动机 | |
模型需要的不是一张更大的脸部裁剪图，而是通用视觉特征缺少的结构信息。EMO-LLaMA保留原画面的编码路径，同时让预训练面部网络处理检测到的人脸。由此产生两个后续问题：这些额外特征应在哪里与通用特征交互，面部关键点又该用于区域定位，还是直接送入语言模型？原文对两种用途都作了安排。
另一个动机来自监督形式。类别回答便于计算识别指标，却会把生成内容压缩到少数标签；面部描述能丰富输出，但仍需要可靠的类别约束。作者将类别指令和对话指令并用，后面的消融分别记录其作用。图像与视频的统一则落实在输入token上，不是另建一套专用表情时序网络。
|--------|-----------|---|
| 04 | ｜论文方法 | |
4.1 面部先验与通用视觉特征并行提取
沿图2从左向右看，输入首先分成两路。LLaMA-VID-7B原有的EVA-CLIP ViT-G/14编码画面；MTCNN检测到的人脸交给FaceXFormer-B，得到面部嵌入、关键点及年龄、性别、种族属性。问题文本还参与Clue Aggregator的聚合：Q-Former依据当前指令提取信息，再将聚合结果送往后续模块。人脸分支负责补充细节，整幅画面的编码路径没有被删去。
Figure 2：EMO-LLaMA整体框架，通用视觉与面部先验分支共同连接语言模型
4.2 Face Info Mining融合全局与局部信息
图3可以按信息读取的范围来理解。全局路径读取整张脸的嵌入，局部路径读取关键点附近的AU区域；两路都让通用视觉特征通过交叉注意力获得补充，而不是把两种特征直接接在末尾。局部路径还先学习AU区域之间的关系。ROI的确定依赖关键点与头部姿态，正脸下的固定坐标并未原样套用到偏转人脸上。这样安排以后，区域定位、局部联系和跨分支交互才组成完整的Face Info Mining。
这里需要区分关键点的两个用途。局部分支先用它定位ROI，这不意味着语言模型已经读到了关键点；作者又把关键点投影成token，接入语言模型。表9中的"for ROIs"与后续Landmark设置，正好对应这一区别。至于AGR，它不是另一组情感标签，而是面部专家估计的年龄、性别、种族属性，由提示词允许模型全部、部分使用或不使用。原文5.5节承认属性预测可能失准，数据中的群体代表性也有差异，尚未提供专门的分群公平性评测。
Figure 3：Face Info Mining模块，全局面部注意力与AU局部注意力并行工作
4.3 FERID同时组织类别指令与对话指令
FERID的规模要按表2的列名阅读。37.6万、33.9万分别计数类别指令和对话指令，不是两批互不重叠的图片、视频，也不应相加写成71.5万个独立样本。生成过程也不是请Gemini 1.0 Pro Vision自由猜测表情：作者把已有的真实标签与视觉内容一起提供，要求对话沿标签所限定的情感方向展开。视频先由LLaVA逐秒描述，再把描述及中心帧交给生成器。FERPlus是一个例外，它的48×48灰度图没有用于生成这类对话。
原文把"标签约束"和"生成后检查"区分开。前者控制情感方向，后者检查生成内容是否仍有偏差。人工部分不是通读全部FERID，而是五个来源各抽100条，由三名标注者独立查看情感正确性、内容合理性及明显错误，平均接受率为94.6%。作者另说明，未接受的样本主要错在非情感描述或视频辅助描述。对使用这批数据的人而言，标签方向一致，并不保证场景、物体及动作的描述全部正确。
Figure 5：FERID构建流程，真实标签约束生成，随后进行过滤与质量检查
4.4 指令微调与统一的图片、视频输入
这一步采用监督指令微调。论文给出的配置是AdamW、2e-4学习率、秩128的LoRA、1个epoch及8张AMD MI250X；讨论中提及的强化学习，并非本模型已经完成的训练阶段。输入视频时先以1 FPS取帧，再按顺序拼接各帧token。Face Info Mining只处理一帧内的面部关系，时间轴上的联系留给语言模型；图片输入则省去跨帧拼接。
分类表格里的一个预测标签，实际上经过了几步处理。模型先按要求写出"My choice is:"，评价程序提取这个前缀之后的词；若该词不属于当前数据集的标签集合，再用CLIP文本编码器找最近的闭集标签。所以，直接统计生成答案中出现了哪些情感词，与复现原文评分不是一回事。前缀提取和集合外词映射都在原文的Inference Details中，比较结果时需要保留这两项约定。
|--------|-----------|---|
| 05 | ｜实验结果 | |
原文主要使用六个FER基准：AffectNet、RAF-DB、FERPlus输入静态图像，DFEW、FERV39K、MAFW输入视频。静态结果报告Acc；动态结果同时列UAR、WAR。前者把各类别的召回率等权平均，后者保留类别样本量的权重，因而同一个模型可能提高UAR，却没有提高WAR。下文差值以百分点计；原文只有文字结果的对照另作补表。
5.1 通用大模型的零样本表情识别表现如何
为什么做： 任务适配是否必要，要先看原有模型直接回答表情问题的表现。否则，后面的提升缺少起点。
对应图表： Table 3。
实验结果： AffectNet上，LLaMA-VID为32.96% Acc，GPT-4V为42.77%；DFEW上二者UAR为33.01%、36.96%。MAFW上，GPT-4V的24.64% UAR也低于EmoCLIP的25.86%。
实验结论： 表内的通用模型尚未占优，甚至GPT-4V在MAFW上也落后于面向情感的对比学习方法。这支持任务适配的必要性。GPT-4V在此只是原研究采用的历史参照，表3不承担最新模型排行的功能。
Table 3：通用模型及对比学习方法的零样本表情识别结果，原表旋转为横向
5.2 与专用表情识别方法相比处于什么水平
为什么做： 超过未适配的大模型是一层比较，与专用FER模型接近则是另一层。表4检验后者。
对应图表： Table 4。
实验结果： AffectNet Acc为63.37%，RAF-DB为86.73%，后者仍低于APViT的91.98%。DFEW的比较需要两列一起读：EMO-LLaMA是60.99% UAR、66.77% WAR，DFER-CLIP则是59.61%、71.25%，一列领先，一列落后。MAFW主表另报52.50% UAR与59.03% WAR。
实验结论： 如果只摘录60.99%这一项，就会遗漏WAR落后的4.48个百分点；只看WAR，又会遗漏UAR领先的1.38个百分点。作者把这种差别与不均衡采样联系起来，但未进一步分离验证。能从表4直接确认的，是两种加权口径给出了不同排序，尚不是某一种情感表征全面优于另一种。MAFW的输入条件和数值差异另在5.9节核对。
Table 4：与传统FER方法的主结果比较，横线为未报告，叉号为模态不匹配
5.3 图片与视频之间能否相互迁移
为什么做： 这组实验不再同时使用两种FER训练数据，而是留出其中一种模态作测试。迁移能力要通过改变FER训练模态、保留另一模态作测试来检验，两个方向都需报告。
对应图表： Table 5、Table 6。
实验结果： 仅用图像FER数据训练时，DFEW的UAR为44.73%，高于GPT-4V的36.96%。反向仅用视频FER数据训练时，AffectNet、RAF-DB、FERPlus的Acc为38.43%、71.51%、59.29%，均低于GPT-4V对应结果。
实验结论： 图像到视频的结果较强，反向尚未赶上GPT-4V，呈现明显的不对称。作者提及视频样本较少这一可能因素，未将其作为已被分离验证的原因。此外，"仅用"限于FER训练阶段；表5的EmoCLIP用过视频数据，其训练经历与本文并不相同。
Table 5：使用图像FER数据训练后，在视频数据集上的迁移结果
Table 6：使用视频FER数据训练后，在图像数据集上的迁移结果
5.4 对其他情感数据集是否有泛化能力
为什么做： 六个主要基准之外，模型还需面对不同场景与任务。作者据此加入额外数据集的零样本评估。
对应图表： Table 7。
实验结果： 零样本设置下，MELD、MER、CMMA的UAR依次为20.39%、54.42%、22.76%，CASME II的Acc为25.58%，均为表内最高值。
实验结论： 表内相对优势存在，绝对成绩却提醒读者保留适用范围，例如MELD的UAR仍为20.39%。原数据集虽包含多模态信息，本组实际只用视觉，评价的是视觉输入下的迁移，而非完整多模态系统的能力。
Table 7：额外情感数据集的零样本结果，各方法在该实验中仅使用视觉输入
5.5 自然语言输出能够呈现哪些识别线索
为什么做： 前面的表只保留类别分数，没有呈现语言接口的用途。作者用案例展示模型如何回答描述性问题。
对应图表： Figure 10。
实验结果： 示例回答提及眉毛、眼睛、嘴部状态，并给出情感判断；多人片段中，还展示了分别询问不同人物的结果。
实验结论： 图10补充的是可读的输出形式。眉眼、嘴部描述能帮助读者检查回答是否与画面相符，但原实验没有进一步验证解释忠实性，识别分数与解释可信度仍应分别看待。
Figure 10：图片、视频与多人场景的定性案例，不作为解释忠实性的定量证据
5.6 面部先验的作用是否在各类别上一致
为什么做： 总体分数会掩盖类别之间的交换。作者除逐步加入先验，还把每种表情的结果展开列出。
对应图表： Table 8、Table 9。
实验结果： MAFW的UAR从基线34.75%升至加入面部信息后的40.67%，再随关键点、AGR加入达到41.14%、41.57%。但完整模型的AN类别准确率为42.36%，低于基线48.86%；HA也从82.06%降至76.07%。
实验结论： UAR由34.75%达到41.57%，与AN、HA的下降同时成立。完整模型改善的是整体类别平均，并没有使每一种表情都更易识别。AGR消融检验的是识别表现，人口群体公平性属于另一个尚未完成的评价问题。
Table 8：MAFW逐类别消融，整体指标上升不代表每个类别均受益
Table 9：面部嵌入、关键点与人口属性先验的消融，原表ARG对应正文AGR
5.7 直接拼接面部特征是否足够
为什么做： 若增加一组面部特征就已足够，简单池化、拼接应能接近所设计模块。这是表10设置该对照的意义。
对应图表： Table 10。
实验结果： Pool & Concat的MAFW UAR为34.51%，Face Info Mining为40.67%，相差6.16个百分点；WAR从44.58%增至45.52%。
实验结论： 如果只比较是否输入面部特征，就会漏掉34.51%与40.67%的差距。前者反而更接近基线34.75%。这组对照把问题落在如何读取、融合特征上，而不是仅落在信息是否存在。表10没有继续列出参数或算力匹配的实验，所能归因的是这两种连接方案的整体差别。
Table 10：池化拼接与Face Info Mining的对照
5.8 类别指令和对话指令分别带来什么变化
为什么做： FERID不只提供分类问答，还提供对话。表11按加入顺序列出结果，用来区分类别适配的变化和对话带来的后续变化。
对应图表： Table 11。
实验结果： AffectNet的三行Acc依次为32.96%、57.93%、59.58%，分别对应不加这两类指令、加入类别指令、再加入对话指令。同一顺序下，MAFW UAR是19.33%、31.56%、34.75%。
实验结论： 对话的增量应从第二行算起，而非从未适配的第一行算起：AffectNet增加1.65个百分点，MAFW增加3.19个百分点。前面的大幅改善已在类别适配时发生。表11没有对话单独训练的结果，因此这项对照回答了"已有类别监督时是否再加对话"，没有回答"对话能否取代标签"。
Table 11：两类指令数据的消融，未报告仅使用对话指令的设置
5.9 推理时增加文本描述有多大影响
为什么做： MAFW附有人工描述，可以直接考察推理时增加语言信息的影响。这个对照也关系到主表成绩应如何解读。
对应图表： Table 12。
实验结果： 仅视觉输入为41.57% UAR、48.63% WAR；加入描述后为52.50%、60.03%，提高10.93、11.40个百分点。描述涉及环境、身体动作、面部动作等内容。
实验结论： 52.50% UAR在这里属于"视觉加描述"，纯视觉对应41.57%。将前一个数字当作视觉结构单独取得的成绩，会遗漏输入差别。另外，表4写59.03% WAR，本表写60.03%；相差1.00个百分点，原文未解释，本文按各表原值保留。
Table 12：推理阶段增加人工描述的对照，WAR与主表存在原文数值差异
5.10 多帧输入是否优于只看中间帧
为什么做： 视频可以送入多张帧图，但模型是否真的需要它们？作者把视频中间的一帧作为参照，直接比较识别分数。
对应图表： Table 13。
实验结果： 表13只列两个设置。中间帧得到32.93% UAR，1 FPS多帧得到34.75%，差值为1.82个百分点，数据集均为MAFW。
实验结论： 多帧这一行优于单帧，说明在此设置下增加帧信息有收益。表中却没有其他采样率，也没有标注表情起始、峰值、消退阶段的定位结果。原文5.3节讨论的细粒度时序建模，仍是一项保留问题，而不是由这两个分数已经解决的问题。
Table 13：中间帧与1 FPS采样对照，指标为MAFW UAR
5.11 重采样对长尾数据是否重要
为什么做： AffectNet的类别规模不均衡。即使标签被写成问答，训练时各类被看到的频率仍然不同，作者因此检查是否需要重采样。
对应图表： Table 14。
实验结果： 不做重采样时，AffectNet Acc只有11.30%；采用重采样后为57.93%。MAFW也有改善，UAR由28.49%到31.56%，不过幅度没有AffectNet这么大。
实验结论： 对这一训练配置，重采样更接近能否有效训练的前提，而非在高分基线上追加的小修正。原文也提到，不采用该策略时会出现训练后表现变差甚至无法正常训练的情况。复现者需要先确认采样设置，再比较网络结构；不能把表14的差值与其他消融逐项相加。
Table 14：不均衡采样策略消融，不同数据集的敏感程度不同
5.12 换用另一种大模型是否仍然有效
为什么做： 主模型是LLaMA-VID。作者增加Chat-UniVi，并保留直接微调这一参照，检查收益是否只依赖原来的骨干。
对应图表： Table 15。
实验结果： 表15中，直接微调的AffectNet Acc是45.31%，采用本文方案后为49.24%；MAFW UAR则从27.02%到34.84%。
实验结论： 这次换骨干保留了改善方向：两项增幅分别为3.93和7.82个百分点。它排除了"只有主骨干出现改善"这一情形，却没有给出跨多种架构的系统比较。表15提供的证据范围就是Chat-UniVi，不宜扩展成任意大模型都有效。
Table 15：Chat-UniVi上的迁移验证，区分原模型、直接微调与所提方案
5.13 更换指令生成模型会改变结果吗
为什么做： 类别标签来自原数据集，对话却由模型合成。更换对话生成器，能够观察下游结果对这部分合成数据来源有多敏感。
对应图表： 补表1，依据原文4.3节"Instruction Data Generation with GPT-4V"整理；原文未单列编号表。
实验结果： 第4.3节末段报告，采用GPT-4V生成的对话时，MAFW UAR比Gemini版本高0.34个百分点。原文在这一段只给差值，没有分别列两组UAR，所以补表1也只记录相对变化。
实验结论： 在这项对照里，两种来源得到的识别结果较接近，作者据此讨论指令质量。0.34个百分点既不等于没有差别，也不足以在缺少重复运行方差时确定稳定优劣。它所涉及的是生成指令的来源，不是原文随后讨论、尚待开展的强化学习训练。
补表1：指令生成模型对照，仅整理原文报告的相对增幅，不补造绝对分数
|--------|---------|---|
| 06 | ｜结论 | |
这项研究包含数据与模型两部分。数据部分把已有FER样本组织为类别、对话指令，构成FERID；模型部分在LLaMA-VID中接入面部专家，通过Face Info Mining读取全局面部嵌入和局部AU区域，并将关键点、人口属性提示用于后续预测。单帧图像和按时间顺序编码的视频帧进入同一语言模型。
作者随后在六个FER基准上报告识别成绩，检查双向模态迁移、额外数据集泛化，并通过消融比较先验、指令类型、描述文本、采样策略和附加骨干。实验在部分指标上取得改善，同时保留了与专用模型的差距。原文讨论尚未完成的工作包括细粒度时序建模、数据效率和属性偏差评价；现有视频时间联系仍由语言模型隐式处理。