AI "胡说八道"？LLM 节点调参
Flow 搭好了，跑通了，上线了。然后用户反馈来了："这 AI 怎么有时候像个诗人，有时候又像个杠精？"或者账单来了："这 Token 怎么烧得比印钞还快？"
其实，Dify 里的 LLM 节点就像是一辆豪车。出厂设置能开，但想跑得快、省油、还不翻车，你得会调教。今天不整官方文档翻译，就聊聊那些参数到底咋配，才能在生产环境里"稳如老狗"。
1. 模型选择：别动不动就"上大号"
- 原则： 合适比贵重要。
- 简单任务（分类/提取）： 用轻量模型（如 Haiku、国产高速版）。响应快，成本低，效果差不多。
- 复杂任务（推理/代码）： 上 heavyweight（如 GPT-4o）。逻辑错了，省那点钱不够赔用户体验的。
- 避坑： 别一个模型包打天下。在 Dify 里加个"条件分支"，简单问题走小路，复杂问题走大路。
2. Temperature（温度）：AI 的"情绪稳定器"
- 0.0 - 0.3： 高冷学霸。 答案确定、严谨。适合做数学题、信息提取、JSON 输出。
- 0.5 - 0.7： 正常人类。 有逻辑也有点灵活性。适合大多数客服场景。
- 0.8 - 1.0+： 艺术家/疯子。 脑洞大开，但也容易胡扯。适合写诗、创意生成。
- 血泪教训： 曾经有个哥们做"合同审查"，Temperature 设了 0.9。结果 AI 不仅审查了合同，还顺便给甲方写了首藏头诗，最后把违约金条款给"创意修改"了。
- 铁律： 如果要输出固定格式（如 JSON），Temperature 必须 0。否则大括号都可能给你漏了。
3. Top P & Penalty：专治"复读机"
- Top P： 通常保持 0.9 默认值最稳。别和 Temperature 同时大幅调整，这俩耦合。
- Presence/Frequency Penalty： 发现 AI 像祥林嫂一样车轱辘话来回说？把 Frequency Penalty 拉到 0.1 - 0.3。
- 警告： 别拉太高（超过 0.5），否则 AI 为了避开重复词，开始发明新词，语句就不通顺了。
4. Max Tokens：你的"信用卡额度"
- 作用： 限制 AI 最多能说多少字。
- 建议： 客服回答一般 500 - 800 tokens 足够了。用户没耐心看小作文。
- 价值： 既省钱，又防超时。别指望 AI 有分寸，你得帮它踩刹车。
5. 重点补课：【记忆】vs【上下文】
这俩最容易混，很多 Flow 跑偏就是因为这儿没弄懂。
记忆 (Memory)
- 在哪配： 开始节点 (Start Node)，不在 LLM 节点里。
- 管什么： 对话历史。也就是"刚才用户说了啥，AI 回了啥"。
- 怎么配： 设置"窗口大小"（比如最近 5 轮）。
- 场景： 多轮聊天必须开。如果是单轮任务（比如翻译），直接关掉，否则带着历史记忆不仅费 Token，还会干扰当前任务（比如上一轮聊做饭，这一轮聊代码，AI 容易串台）。
上下文 (Context)
- 在哪配： 知识库节点 或 LLM 节点的上下文引用。
- 管什么： 外部知识。也就是"公司文档、产品手册、FAQ"。
- 怎么配： 通过检索节点把相关文档片段塞给 LLM。
- 场景： 知识库问答必须开。
俩有啥区别？
- 记忆是"流动的"： 每次对话都在变，存的是聊天内容。
- 上下文是"静态的"： 基于你的知识库，存的是事实资料。
- 别混用： 别把产品手册当记忆存（太费钱），也别指望靠记忆让 AI 记住公司规定（记不住）。
6. System Prompt：AI 的"入职培训"
- 原则： 指令越具体，幻觉越少。
- 错误： "你是个助手。"
- 正确： "你是客服。只回答产品问题。不知道就说不知道。禁止编造价格。输出不超过 100 字。"
- 技巧： 给示例（Few-Shot）。在 Prompt 里给两个"用户问 -AI 答"的例子，比调半天参数都管用。
- 分隔符： 用
###把指令和变量内容隔开，防止提示词注入。
抄作业时间：两套生产级配置
为了让大家直接能上手，我准备了两个典型场景的配置单。
场景 A：严谨的"法律条款提取器"
目标：从合同里提取甲方、乙方、金额，输出 JSON。
- Model: GPT-4o 或 同等逻辑能力强的模型。
- Temperature: 0 (必须锁死)。
- Top P: 0.1。
- Max Tokens: 500。
- Memory: 关闭 (每次提取都是独立任务)。
- Context: 关闭 (除非你要对照法律库)。
- Prompt: 强制要求
Output JSON only，并在 System Prompt 里定义 JSON Schema。
场景 B：贴心的"电商客服"
目标：陪用户聊天，提供情绪价值，回答产品问题。
- Model: 国产大模型（延迟低，中文语感好）。
- Temperature: 0.3 (稍微有点人情味，但别太疯)。
- Frequency Penalty: 0.2 (防止它一直说"我理解你")。
- Max Tokens: 600。
- Memory: 开启，保留最近 5-10 轮 (必须记得用户刚才说过的烦恼)。
- Context: 开启，关联产品知识库 (确保价格和功能不说错)。
- Prompt: "语气亲切。遇到投诉先安抚。无法解决则引导转人工。"
最后三句忠告
- Prompt 优于参数。 很多时候效果不好，不是 Temperature 没调对，是你 Prompt 没写清楚。先把话说明白，再调参数。
- 测试！测试！测试！ 别配完直接上线。拿几十个真实用户的问题去跑一遍，看看边界情况（比如用户骂人、用户发乱码）AI 会不会崩。
- 盯着日志。 上线后盯着 Dify 的日志看。如果某个节点的 Token 消耗异常高，要么是 Memory 开太大了，要么是 Prompt 写得太啰嗦。
调参这事儿，有点像中医把脉，没有绝对的"标准答案"，只有"最适合你业务"的答案。希望这篇指南能帮你省下点 Token 钱，少挨点用户投诉。
祝大家 Flow 跑得顺，Bug 绕道走！🚀