4b - 4b技术,学习,经验文章

@不误正业

1 小时前

技术线05_端侧小模型不可靠先检查你的Agent架构面向读者：正在做 RAG、Agent、私有化部署或端侧 AI 应用的工程师。示例系统：完全离线的质量体系助手，生成模型使用 Qwen3.5-4B，嵌入模型使用 bge-m3，存储使用 SQLite，回答要求可溯源。结论先说：4B 模型不能像云端大模型那样承担“规划、检索、判断、表达、自检”的全部职责。更稳的做法是把架构拆成记忆预算、意图仲裁、证据计划、引用门禁和受控表达。模型可以参与，但不应该拥有最终裁决权。