Explainability for Large Language Models: A Survey

本文是LLM系列文章,针对《Explainability for Large Language Models: A Survey》的翻译。

大型语言模型的可解释性:综述

  • 摘要
  • [1 引言](#1 引言)
  • [2 LLM的训练范式](#2 LLM的训练范式)
  • [3 传统微调范式的解释](#3 传统微调范式的解释)
  • [4 提示范式的解释](#4 提示范式的解释)
  • [5 评估的解释](#5 评估的解释)
  • [6 研究挑战](#6 研究挑战)
  • [7 结论](#7 结论)

摘要

大型语言模型(llm)在自然语言处理方面已经展示了令人印象深刻的能力。然而,它们的内部机制仍然不清楚,这种透明度的缺乏给下游应用带来了不必要的风险。因此,理解和解释这些模型对于阐明它们的行为、局限性和社会影响至关重要。在本文中,我们介绍了可解释性技术的分类,并提供了用于解释基于Transformer的语言模型的方法的结构化概述。我们根据LLM的训练范式对技术进行分类:传统的基于微调的范式和基于提示的范式。对于每个范式,我们总结了生成个体预测的局部解释和整体模型知识的全局解释的目标和主要方法。我们还讨论了用于评估生成的解释的度量,并讨论了如何利用解释来调试模型和提高性能。最后,与传统的机器学习模型相比,我们研究了LLM时代解释技术的关键挑战和新兴机遇。

1 引言

2 LLM的训练范式

3 传统微调范式的解释

4 提示范式的解释

5 评估的解释

6 研究挑战

7 结论

在本文中,我们对LLM的可解释性技术进行了全面概述。我们总结了基于模型训练范式的局部和全局解释方法。我们还讨论了使用解释来改进模型、评估和关键挑战。未来的主要发展选择包括开发适合不同LLM的解释方法,评估解释的可信度,以及提高人类的可解释性。随着LLM的不断发展,可解释性将变得极其重要,以确保这些模型透明、公平和有益。我们希望这一调查为这个新兴的研究领域提供一个有用的组织,并突出未来工作的开放性问题。

相关推荐
阿坡RPA12 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户277844910499312 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心12 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI14 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c15 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得20516 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清16 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh16 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员16 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物16 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技