EmotionPrompt: Leveraging Psychology for Large Language Models Enhancement via Emotional Stimulus 论文精读
核心观点:
提出 emotionprompt 作为一种利用情绪刺激来增强大语言模型性能的方式。该方法通过在原始提示中添加情绪刺激,例如"这对我的事业非常重要",来引导 LLM 的行为,从而提高其在各种任务上的表现。论文中的实验结果表明,EmotionPrompt 在 ChatGPT、Vicuna-13b、Bloom 和 Flan-T5-large 等不同模型上的 8 个任务中,均取得了显著的提升,并且在零样本和少样本设置下均优于原始提示和 Zero-shot-CoT。
背景:
背景主要介绍了一些心理学的情绪研究,包括情绪智力、情绪对决策的影响、情绪调节以及相关理论(社会认同理论、社会认知理论、认知情绪调节理论)。同时,作者也回顾 LLM 的发展和应用,并指出当前 LLM 提升方法主要集中在模型侧,较少关注交互侧。
EmotionPrompt
emotionprompt 是受人类情绪刺激影响行为的启发,心理学中的三种理论(社会认同理论,社会认知理论,认知情绪调节理论)中获取灵感,设计了针对语言模型的情感刺激提示词,并将情感刺激分为两类:
- 社会影响: 利用群体认同、他人意见等社会因素来调节情绪。
- 自尊和动机: 关注个体的自尊、自信和目标。
每种情感刺激都包含了一些心理学上的词汇和短语,例如"相信你的能力"、"目标"、"成功"等。这些词汇和短语能够激发 LLM 的内在动力,使其更加努力地完成任务。
实验
在 8 个指令学习任务上评估 EmotionPrompt 的效果,包括:
- 情感分析
- 句子相似度
- 原因选择
- 求和
- 词语上下文
- 以...开头
- 更大的动物
- 首字母
使用 4 个 LLM 进行实验,包括:
- ChatGPT
- Vicuna-13b
- Bloom
- T5-Large
将 EmotionPrompt 与以下基线进行比较:
- 原始提示: Instruction Induction 论文中设计的提示。
- Zero-shot-CoT: Kojima 等人提出的简单而有效的零样本提示工程方法。
使用 Instruction Induction 论文中的 8 个任务进行评估,每个任务包含 100 个测试样本(除了原因选择任务,包含 50 个样本)。实验结果表明,EmotionPrompt 在所有任务和模型上都取得了显著的提升,并且准确性在超过一半的任务上提高了 10% 以上;在 TruthfulQA 数据集上评估了 EmotionPrompt 对真实性和信息量的影响。结果表明,EmotionPrompt 能够显著提高 LLM 的真实性和信息量。
分析
- EmotionPrompt 为什么有效:情感刺激能够增强原始提示的表示,并提高 LLM 对任务的关注程度。
- 积极词汇的贡献:一些积极词汇在情感刺激中扮演了更重要的角色,例如"自信"、"确定"、"成功"和"成就"。这些词汇能够激发 LLM 的内在动力,使其更加努力地完成任务。
- 人类研究:人类研究评估了 LLM 输出的其他指标,例如清晰度、相关性、深度、结构、组织、支持证据和参与度。结果表明,EmotionPrompt 能够显著提高 LLM 输出的清晰度、深度、结构、组织、支持证据和参与度。
总结
- 局限性:实验范围有限,只测试了4个LLM;情感刺激的泛化性并不清楚,可能不适用于所有任务,研究人员可能需要为特定任务设计更合适的情感刺激。
- 未来工作:在更多 LLM 和任务上进行实验,以验证 EmotionPrompt 的有效性;研究如何设计更有效的情感刺激,以提升 LLM 的性能; 探索情感刺激影响 LLM 的内在机制,以更好地理解其工作原理;研究情感刺激在 LLM 中的应用可能带来的伦理问题,并制定相应的解决方案。