本文提出一种 LLM 架构范式：将事实知识、计算、逻辑等可结构化能力从模型参数中解耦出去，保留一个"瘦模型"作为调度中枢。这不是 RAG 的外挂思路，而是在词表层面将外部能力原生内化。
一、问题：LLM 的参数正在做不该做的事
今天的 LLM 架构有一个被忽视的根本矛盾：
我们用同一个参数空间，既存"怎么思考"，又存"知道什么"。
一个 70B 模型的容量，相当大比例用于死记硬背事实------长尾实体、日期、数字关系，这些本可以用键值对精确存储的信息，被强行编码进连续向量空间。后果是结构性的：
- 幻觉不可避免：生成是概率采样，模型没有"我不知道"的硬信号
- 知识静态化：训练完成后，参数记忆即冻结
- 多跳推理脆弱：中间一步记忆错误，整条链崩溃
- 规模不经济：缩小模型，事实准确率断崖式下降
Scaling Law 堆的是参数总量，但没区分"推理容量"和"记忆容量"。本文的命题是：把后者搬出去。
二、核心设计：词表级结构化协议
2.1 从"生成答案"到"寻址答案"
传统 LLM 的生成目标是下一个 token 的概率分布，答案是分布采样的结果。我们的方案改变这一目标：
传统：P(token | context) → 采样"北京"
本方案：P(token | context) → 采样 <a01><a02><a03><a04>
↓
数据库解码 → "北京"答案不再生成，而是被寻址。模型输出的是答案在外部数据库中的地址。
2.2 编码方案：4×256 地址空间
使用 256 个特殊 token，取 4 位，构成 256⁴ ≈ 43 亿个唯一编码：
<ans_01> <ans_23> <ans_07> <ans_42>每组可赋予层次语义（域→子域→簇→实体），也可扁平哈希。无论哪种，编码空间与模型参数解耦------数据库更新，模型无需重训。
2.3 工具协议：生成不中断
在词表中引入 5 个结构化 token：
<tool> <query> 中国,首都 </query> <res> </res> </tool><tool>：工具调用边界<query>：模型改写的检索式（自然语言→结构化条件）<res>：答案返回容器，由系统填入编码
模型生成到 <tool> 时，推理引擎拦截、执行查询、回填编码，然后继续同一 forward pass。整个过程中 token 流不中断------这是与 JSON Function Calling 的本质区别。
三、架构全景：三层解耦
┌─────────────────────────────────────────────┐
│ Layer 3: 调度中枢（1B--3B 参数） │
│ · 语义理解 │
│ · 元认知：知道何时查、查什么 │
│ · 语言组织：将结果融为自然语言 │
├─────────────────────────────────────────────┤
│ Layer 2: 词表协议层（本方案新增） │
│ · <tool>/<query>/<res> 控制序列 │
│ · 4×256 答案编码空间 │
├─────────────────────────────────────────────┤
│ Layer 1: 外部能力层（可独立升级） │
│ · 事实数据库（Elasticsearch/图数据库） │
│ · 计算器 / Python 沙箱 → <calc> │
│ · 逻辑引擎 / 规划器 → <logic> │
│ · 翻译 / 物理仿真 → <translate>/<sim>│
│ · 用户记忆库 → <recall> │
└─────────────────────────────────────────────┘判断能否解耦的统一标准：输出可结构化、有确定对错、外部系统能做得更好。满足三者的能力------事实、算术、格式渲染、符号推理、规划------都应外置。
四、与现有范式的区别
| 维度 | 传统 LLM | RAG | Function Calling | 本方案 |
|---|---|---|---|---|
| 知识位置 | 参数内 | 外部，但拼接进 context | 外部，返回文本 | 外部，返回编码 |
| 幻觉 | 不可避免 | 检索噪音仍被生成 | 结果可能被曲解 | 词表级硬约束 |
| 生成流 | 连续 | 检索中断 | 每次调用中断 | 不中断，协议内完成 |
| 答案验证 | 不可验证 | 需模型二次提取 | 需模型二次提取 | 编码→记录直接映射 |
| 模型规模 | 7B+ 才可靠 | 同左 | 同左 | 1B--3B 可达同等事实准确率 |
与 RAG 的区别是词表内化 vs 外部拼接 ；与 Function Calling 的区别是寻址 vs 调用。前者学的是格式字符串，后者学的是参数空间中的几何表示。
五、训练策略
三阶段渐进，避免模式冲突：
- Stage 1 --- 工具格式 SFT ：构造 5--10 万条
<tool>...</tool>样本（从 HotpotQA、多跳 QA 自动生成），教会模型输出协议 - Stage 2 --- 编码对齐：目标输出从自然语言答案切换为 4×256 编码，训练模型将实体映射到地址空间
- Stage 3 --- 决策 RL：混合三类样本------需查、不需查、查不到回退，用偏好数据（DPO/PPO）让模型学会自适应路由
推理时采用三级回退：命中编码 → 解码返回；未命中 → 向量召回 top-k 转 RAG；仍无把握 → 传统参数生成并标注不确定性。
六、意义与边界
6.1 什么变了
- 幻觉从概率问题变成架构问题：模型无法生成词表中不存在的"答案"
- 知识生命周期解耦：数据库 INSERT/UPDATE 即知识更新，无需全量重训
- 端侧可行性：1B--3B 模型 + 本地 DB 可在手机运行，事实准确率对标 13B 纯参数模型
- 可审计性：每一次回答可精确追溯------查了什么、返回什么、如何组织
6.2 什么没变
开放生成（写诗、创意、闲聊）仍由参数内语言模型负责；本方案只接管可验证的事实性内容。两者在同一 token 流中共存------模型学会了"什么时候用哪种语言"。
七、结论
我们不是在构建一个更大的模型，而是在构建一个更诚实的模型。
参数记忆是 AI 的"肌肉记忆"------快速但不可编辑、不可验证。本文提出的架构让模型保留理解力与决策力，把"记得"这件事交还给外部系统。当行业还在 Scaling Law 的惯性中堆参数时，解耦记忆与推理可能是下一个范式跃迁。
未来的 LLM 不该是百科全书，而该是指南针。