【LLM】deepseek之Engram模型(增加条件记忆模块)

note

  • Engram:给大语言模型加了个"快速查知识的小模块"。也就是条件记忆模块,实现上,融合静态N-gram嵌入与动态隐藏状态,通过确定性寻址实现O(1)查找,以可扩展查找,作为混合专家(MoE)之外的新稀疏性维度。如此一来,原来的模型(比如MoE架构)靠"实时计算"处理信息,这个模块补了个"静态记忆库",存着常用的短语、知识片段,后续一键调取,不用重复计算。
  • 尽管混合专家(Mixture-of-Experts, MoE)通过条件计算来扩展模型容量,但标准Transformer架构缺乏一种原生的机制用于知识检索。为解决这一问题,DeepSeek探索了"条件记忆"作为稀疏性的补充维度,并通过Engram模块加以实现------该模块对经典的N元语法(N-gram)嵌入进行了现代化改造,支持O(1)复杂度的快速查找。
  • 稀疏性分配:DeepSeek系统地刻画了神经计算(MoE)与静态记忆(Engram)之间的权衡关系,发现了一种U型缩放规律,可用于指导模型容量的最优分配。
  • 实证验证:在严格保持参数量和计算量(FLOPs)不变的条件下,Engram-27B模型在知识、推理、代码和数学等多个领域均持续优于MoE基线模型。
  • 机制分析:我们的分析表明,Engram能够减轻模型浅层对静态模式重建的负担,从而可能保留更多有效深度用于复杂推理任务。
  • 系统效率:该模块采用确定性寻址机制,使得大规模嵌入表可以高效卸载至主机内存,同时在推理时仅引入极低的额外开销。

文章目录

一、Engram

【Deepseek进展】给大语言模型加了个"快速查知识的小模块"。也就是条件记忆模块,实现上,融合静态N-gram嵌入与动态隐藏状态,通过确定性寻址实现O(1)查找,以可扩展查找,作为混合专家(MoE)之外的新稀疏性维度。如此一来,原来的模型(比如MoE架构)靠"实时计算"处理信息,这个模块补了个"静态记忆库",存着常用的短语、知识片段,后续一键调取,不用重复计算。

《Conditional Memory via Scalable Lookup:A New Axis of Sparsity for Large Language Models》,

https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf,

项目地址:https://github.com/deepseek-ai/Engram

核心实现是"静态记忆库 + 动态计算层"的融合,细分6点。

1)静态记忆库:本质是一个超大的"常用知识片段仓库",存储的是N-gram(比如单词、短语、短句子)的嵌入向量(可以理解为"知识的数字编码")。这些N-gram是从海量文本中统计出来的高频、高价值片段(比如"机器学习""因果推理""for循环语法"),提前做好编码存起来,不用模型再实时生成。

2)动态计算层:就是大模型原来的Transformer层,负责处理复杂推理(比如逻辑链、代码调试、数学推导),不再需要兼顾"记住简单知识"。

3)融合逻辑:模型处理输入时,先从"静态记忆库"里快速调取匹配的知识片段(比如看到"牛顿第二定律",直接拿出库里存好的相关编码),再和Transformer层的动态计算结果结合,输出最终答案。

4)确定性寻址:不用像传统检索那样遍历整个库,而是通过固定规则(比如N-gram的哈希值)直接定位到对应的记忆位置,调取速度是"常数级"(不管库多大,都能一键找到)。

5)内存优化:把这个超大的记忆库卸载到主机内存(而不是占显卡显存),显卡只负责处理动态计算,解决了"大记忆库占用显存"的问题,推理时不增加额外开销。

6)U型缩放定律:一套"怎么分配记忆库容量和模型参数"的规则------模型越小,记忆库可以适当大一点;模型越大,记忆库和计算层的比例要动态调整,确保"记忆"和"推理"不脱节。

Reference

1 Conditional Memory via Scalable Lookup:A New Axis of Sparsity for Large Language Models

相关推荐
泯泷1 天前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
泯泷1 天前
当"孤独的开发者"成为常态,AI正在悄悄杀死那个我们熟悉的互联网
人工智能·chatgpt·llm
泯泷1 天前
给你一个免费的20人 AI 团队,你的胜算真的变大了吗?
人工智能·llm
xyphf_和派孔明1 天前
第十章: Agent Skill的调用机制解读
langchain·llm·agent
真上帝的左手1 天前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型
XLYcmy3 天前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 上
llm·prompt·模糊测试·漏洞修复·漏洞检测·deepseek·消融实验
泯泷3 天前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
XLYcmy3 天前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测
M--Y3 天前
LangGraph 架构基石:持久化与运行控制
python·langchain·大模型·llm·持久化·langgraph
xyphf_和派孔明3 天前
第十章: LangGraph的人机交互Human-in-the-loop实践
langchain·llm