【大语言模型】ACL2024论文-22 大型语言模型中的自信心：探究大型语言模型生成回答的自信心与概率一致性

本文探讨了大型语言模型（LLMs）在生成回答时的自信心与概率一致性问题。随着LLMs在各个领域的广泛应用，理解模型自我评估的自信心对于输出的可靠性至关重要。研究者提出了"自信心-概率一致性"概念，将模型内部的自信心（通过token概率量化）与模型在被明确询问时表达的自信心联系起来。通过使用不同的数据集和提示技术，研究者分析了模型内部和表达的自信心之间的一致性。研究发现，OpenAI的GPT-4在多种任务中展现出最强的自信心-概率一致性。这项工作有助于促进LLMs应用中的风险评估，并进一步理解模型的可信度。

研究背景

近年来，LLMs如GPT、PaLM、Chinchilla和LLaMa等在自然语言处理（NLP）任务中展现出卓越的性能，并在聊天机器人等领域引起了公众的极大兴趣。随着这些模型被整合到医疗、法律和教育等高风险领域，对它们的行为和可信度进行关键评估变得越来越重要。当前的提示技术，如自我一致性、思维树和多代理辩论，严重依赖于模型对其推理过程的自我评估。然而，如果模型表达的自我推理与其真正的内部自信心存在不一致，这些技术可能会产生误导性结果，削弱它们的实际效用。

问题与挑战

LLMs的一个主要挑战是"幻觉"问题，即模型产生看似合理但事实上错误或编造的输出，并伴随着高表达自信心，使得非专家用户难以区分它们与可靠输出。此外，理解模型的内部自信心对于用户在现实世界应用中的信任和决策至关重要。

如何解决

研究者通过定义口头确定性（模型对其回答的明确表达的自信心）和内部自信心（通过token概率量化）之间的关系，来解决这一问题。他们提出了一种新的框架来评估LLMs的透明度和可靠性，即自信心-概率一致性。研究者使用一系列问题数据集，探索了内部和口头表达的自信心之间的相关性，并分析了模型特定参数（如温度）对表达自信心和回答准确性之间关系的影响。

核心创新点

自信心-概率一致性概念：提出了一种新的框架来评估LLMs的透明度和可靠性。
多样化的LLM架构研究：涵盖了多种LLM架构，使用提示技术鼓励模型自省，揭示了不同的一致性动态。
自信心与正确性关系的分析：进一步分析了模型表达的自信心与回答准确性之间的联系，并为详细的错误分析开发了一种不一致性的分类体系。

算法模型

研究中使用了多种LLMs，包括OpenAI的GPT-3及其变体（如InstructGPT和RLHF版本），以及最新的GPT-4，还有开源模型，如Microsoft的Phi-2-2.7B和HuggingFace的Zephyr-7B。研究者通过结构化提示来生成回答，并提取选定答案的token概率以估算内部自信心。此外，他们还构建了信心查询提示（CQP），以获取模型对其回答的口头确定性。

实验效果（包含重要数据与结论）

实验结果显示，GPT-4在所有数据集上一致性表现最佳，特别是在QASC数据集上，相关系数接近0.5，显示出中等程度的相关性。相比之下，OpenbookQA和ARC数据集的一致性最低，但仍然高于其他模型版本。这些发现表明，GPT-4可能在模型架构和训练方法上有所进步，包括规模和可能更精细的人类反馈集成。

后续优化方向

更广泛的模型覆盖：研究者指出，他们的工作受限于能够访问token级别log probs/logits的模型，因此需要未来的研究来探索更广泛的模型。
语言特异性限制：研究主要关注英语，可能需要进一步研究以理解LLMs在设计用于具有更复杂句法结构的语言时的自信心-概率一致性。
元级推理：研究设计需要模型能够查询其自身的自信心，这可能引入与模型在主要任务中的'基础'推理不一致的复杂偏见。
提示技术的依赖性：研究结果在很大程度上依赖于精心构建的提示技术，因此需要开发能够在不显著依赖提示技巧的情况下展示自信心-概率一致性的模型。
模型信心与提示准确性：研究的主要目标不是优化模型回答的准确性，而是探索模型内部和口头表达的自信心之间的关系。

后记

如果您对我的博客内容感兴趣，欢迎三连击 ( 点赞、收藏和关注 ）和留下您的评论，我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型，深度学习和计算机视觉相关方向)最新学术论文及工程实践方面的内容分享，助力您更快更准更系统地了解 AI前沿技术。

【大语言模型】ACL2024论文-22 大型语言模型中的自信心：探究大型语言模型生成回答的自信心与概率一致性