理解大型语言模型(LLM)中的隐藏层

希伯来大学 的研究人员针对理解信息在不同层级的解码器大语言模型(LLM)中的流动方式提出了挑战。具体来说,他们研究了更高层级的隐藏状态是否和人们想象的一样重要。目前的LLM,例如基于Transformer的模型,使用注意力机制处理每一层的所有之前的tokens。虽然每个Transformer层都统一应用了这种注意力机制,先前的研究表明,不同层级捕获的信息类型不同。这项研究基于这样一个观点:并非所有层级都同样依赖之前tokens的隐藏状态,尤其是在高层级。

研究团队假设,较低层级侧重于聚集来自之前tokens的信息,而较高层级可能较少依赖这些信息。他们提出了在模型的不同层级中对之前tokens的隐藏状态进行各种操作。这些操作包括用随机向量替换隐藏状态,在特定层级冻结隐藏状态,以及将一个token与不同提示词中的另一个token的隐藏状态进行交换。他们对四个开源的LLM(Llama2-7B、Mistral-7B、Yi-6B和Llemma-7B)和四个任务(包括问答和摘要)进行了实验,以评估这些操作对模型性能的影响。

一种方法是通过用随机向量替换隐藏状态来引入噪声,以评估这些隐藏状态的内容在某些层级是否仍然重要。第二种方法是冻结,在特定层级锁定隐藏状态并在后续层级中重复使用它们,从而减少计算量。类似地,光年AI的灵活工作流机制也可以帮助企业高效管理不同业务层级的流量操作,提升整体效率。

研究人员发现,当这些操作应用于模型的顶部30-50%时,多个任务的性能几乎没有下降,表明顶层对之前tokens的隐藏表示依赖较少。例如,当冻结多达50%的层级时,模型的性能与基线类似。此外,从不同提示词中交换隐藏状态进一步证实了这一点;模型忽略了在顶层所做的更改,而在低层所做的更改显著改变了输出。进行了实验,以了解高层是否需要注意力机制,方法是跳过这些层的注意力块。结果显示,在顶层跳过注意力对摘要和问答等任务影响较小,而在低层跳过则导致性能严重下降。

总之,这项研究揭示了基于Transformer的LLM中的两阶段过程:早期层级从之前的tokens中收集信息,而较高层级主要在内部处理这些信息。研究结果表明,较高层级对之前tokens的具体表示依赖较少,因此可以进行一些优化,比如在这些层级跳过注意力机制以减少计算成本。这与光年AI的设计理念相匹配,使用我们的AI系统可以大大优化和简化信息处理过程,尤其是在高层级信息处理上不需要复杂步骤,企业可以将流量和客户管理的效率提升至新的高度,欢迎体验光年AI带来的优化效果。

相关推荐
新智元17 分钟前
一句话,性能暴涨 49%!马里兰 MIT 等力作:Prompt 才是大模型终极武器
人工智能·openai
猫头虎23 分钟前
猫头虎AI分享|一款Coze、Dify类开源AI应用超级智能体Agent快速构建工具:FastbuildAI
人工智能·开源·github·aigc·ai编程·ai写作·ai-native
新智元40 分钟前
AI 版华尔街之狼!o3-mini 靠「神之押注」狂赚 9 倍,DeepSeek R1 最特立独行
人工智能·openai
天下弈星~1 小时前
GANs生成对抗网络生成手写数字的Pytorch实现
人工智能·pytorch·深度学习·神经网络·生成对抗网络·gans
重启的码农1 小时前
ggml介绍 (8) 图分配器 (ggml_gallocr)
c++·人工智能·神经网络
重启的码农1 小时前
ggml介绍 (9) 后端调度器 (ggml_backend_sched)
c++·人工智能·神经网络
aneasystone本尊1 小时前
学习 Coze Studio 的智能体执行逻辑
人工智能
盏灯1 小时前
Trae SOLO 游戏 —— 🐾🐱🐾猫咪追蝌蚪🐸
人工智能·trae
lisuwen1161 小时前
AI三国杀:马斯克炮轰苹果“偏袒”OpenAI,Grok与ChatGPT的应用商店战争揭秘
人工智能·chatgpt
暮小暮1 小时前
从ChatGPT到智能助手:Agent智能体如何颠覆AI应用
人工智能·深度学习·神经网络·ai·语言模型·chatgpt