engram - engram技术,学习,经验文章

山顶夕景

4 小时前

【LLM】deepseek之Engram模型(增加条件记忆模块)【Deepseek进展】给大语言模型加了个“快速查知识的小模块”。也就是条件记忆模块，实现上，融合静态N-gram嵌入与动态隐藏状态，通过确定性寻址实现O(1)查找，以可扩展查找，作为混合专家（MoE）之外的新稀疏性维度。如此一来，原来的模型（比如MoE架构）靠“实时计算”处理信息，这个模块补了个“静态记忆库”，存着常用的短语、知识片段，后续一键调取，不用重复计算。