大模型与智能体在工业的应用~系列文章10：可靠性篇：大模型的“幻觉“与工业安全，如何让 AI 可信

第 10 期 | 可靠性篇：大模型的"幻觉"与工业安全，如何让 AI 可信

前面几期我们把智能体建得越来越强，但总有一个声音压在心头："它会不会一本正经地胡说八道？万一在炉前给出一个错误建议怎么办？" 这是工业人拥抱 AI 时最真实、最合理的担忧。大模型确实存在**"幻觉"（Hallucination）------因过于流畅而"编造看似合理的错误内容"。在钢铁这类高可靠、高风险场景，让 AI "可信"不是加分项，而是生死线。本期直面幻觉问题：讲透它"从哪来、长什么样"，再给出四道防线**（检索兜底、工具校验、约束回答、人工闭环），并总结面向工业的可信 Agent 设计规范。

一、先直面：什么是"幻觉"，为什么工业最怕它 ⚠️

幻觉指大模型"生成的内容与事实不符，但由于语言流畅、逻辑自洽，看起来非常可信"。
#mermaid-svg-tUILDzj5q5UhmS5p{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-tUILDzj5q5UhmS5p .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-tUILDzj5q5UhmS5p .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-tUILDzj5q5UhmS5p .error-icon{fill:#552222;}#mermaid-svg-tUILDzj5q5UhmS5p .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-tUILDzj5q5UhmS5p .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-tUILDzj5q5UhmS5p .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-tUILDzj5q5UhmS5p .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-tUILDzj5q5UhmS5p .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-tUILDzj5q5UhmS5p .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-tUILDzj5q5UhmS5p .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-tUILDzj5q5UhmS5p .marker{fill:#333333;stroke:#333333;}#mermaid-svg-tUILDzj5q5UhmS5p .marker.cross{stroke:#333333;}#mermaid-svg-tUILDzj5q5UhmS5p svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-tUILDzj5q5UhmS5p p{margin:0;}#mermaid-svg-tUILDzj5q5UhmS5p .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-tUILDzj5q5UhmS5p .cluster-label text{fill:#333;}#mermaid-svg-tUILDzj5q5UhmS5p .cluster-label span{color:#333;}#mermaid-svg-tUILDzj5q5UhmS5p .cluster-label span p{background-color:transparent;}#mermaid-svg-tUILDzj5q5UhmS5p .label text,#mermaid-svg-tUILDzj5q5UhmS5p span{fill:#333;color:#333;}#mermaid-svg-tUILDzj5q5UhmS5p .node rect,#mermaid-svg-tUILDzj5q5UhmS5p .node circle,#mermaid-svg-tUILDzj5q5UhmS5p .node ellipse,#mermaid-svg-tUILDzj5q5UhmS5p .node polygon,#mermaid-svg-tUILDzj5q5UhmS5p .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-tUILDzj5q5UhmS5p .rough-node .label text,#mermaid-svg-tUILDzj5q5UhmS5p .node .label text,#mermaid-svg-tUILDzj5q5UhmS5p .image-shape .label,#mermaid-svg-tUILDzj5q5UhmS5p .icon-shape .label{text-anchor:middle;}#mermaid-svg-tUILDzj5q5UhmS5p .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-tUILDzj5q5UhmS5p .rough-node .label,#mermaid-svg-tUILDzj5q5UhmS5p .node .label,#mermaid-svg-tUILDzj5q5UhmS5p .image-shape .label,#mermaid-svg-tUILDzj5q5UhmS5p .icon-shape .label{text-align:center;}#mermaid-svg-tUILDzj5q5UhmS5p .node.clickable{cursor:pointer;}#mermaid-svg-tUILDzj5q5UhmS5p .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-tUILDzj5q5UhmS5p .arrowheadPath{fill:#333333;}#mermaid-svg-tUILDzj5q5UhmS5p .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-tUILDzj5q5UhmS5p .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-tUILDzj5q5UhmS5p .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-tUILDzj5q5UhmS5p .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-tUILDzj5q5UhmS5p .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-tUILDzj5q5UhmS5p .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-tUILDzj5q5UhmS5p .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-tUILDzj5q5UhmS5p .cluster text{fill:#333;}#mermaid-svg-tUILDzj5q5UhmS5p .cluster span{color:#333;}#mermaid-svg-tUILDzj5q5UhmS5p div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-tUILDzj5q5UhmS5p .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-tUILDzj5q5UhmS5p rect.text{fill:none;stroke-width:0;}#mermaid-svg-tUILDzj5q5UhmS5p .icon-shape,#mermaid-svg-tUILDzj5q5UhmS5p .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-tUILDzj5q5UhmS5p .icon-shape p,#mermaid-svg-tUILDzj5q5UhmS5p .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-tUILDzj5q5UhmS5p .icon-shape .label rect,#mermaid-svg-tUILDzj5q5UhmS5p .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-tUILDzj5q5UhmS5p .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-tUILDzj5q5UhmS5p .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-tUILDzj5q5UhmS5p :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 大模型逐词生成

(凭概率推测下一个词)
缺乏强事实约束时
可能'编造'看似合理的信息
流畅+自洽 → 极具误导性
工业后果: 错误建议/错误结论

风险远高于普通聊天

为什么工业场景更危险：

聊天场景说错一句话，无伤大雅；
工业场景一个错误建议，可能影响炉况、造成设备损伤、危及安全。

💡 知识卡片 ：幻觉的本质不是"AI 变坏"，而是模型本就是"逐词预测器" （第 02 期），在"知识空白"或"信息不足"时，它会用概率最高但未必正确的词"补全"。模型没有"我确实不知道"的自觉，这正是需要我们主动"约束它"的原因。

二、幻觉的常见"长相"：你能识别吗？👀

工业场景里，幻觉常以这些面貌出现：

幻觉类型	表现	例子
编造数值	给出看似精确但错误的数据	"该炉当前风量 5300m³/min"（实际 4800）
凭空引用	引用不存在的规程/条款	"按 GB/T 1234-2020 规定......"（此标准不存在）
张冠李戴	混淆设备/参数	把 2 号炉参数安到 3 号炉上
过度自信	对不确定信息给出确定结论	"原因一定是烧结矿粉末过多"
越界臆测	在知识空白处强行编造	"历史上共发生过 12 次类似事故"

#mermaid-svg-POfaPh337ESV0r62{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-POfaPh337ESV0r62 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-POfaPh337ESV0r62 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-POfaPh337ESV0r62 .error-icon{fill:#552222;}#mermaid-svg-POfaPh337ESV0r62 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-POfaPh337ESV0r62 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-POfaPh337ESV0r62 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-POfaPh337ESV0r62 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-POfaPh337ESV0r62 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-POfaPh337ESV0r62 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-POfaPh337ESV0r62 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-POfaPh337ESV0r62 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-POfaPh337ESV0r62 .marker.cross{stroke:#333333;}#mermaid-svg-POfaPh337ESV0r62 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-POfaPh337ESV0r62 p{margin:0;}#mermaid-svg-POfaPh337ESV0r62 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-POfaPh337ESV0r62 .cluster-label text{fill:#333;}#mermaid-svg-POfaPh337ESV0r62 .cluster-label span{color:#333;}#mermaid-svg-POfaPh337ESV0r62 .cluster-label span p{background-color:transparent;}#mermaid-svg-POfaPh337ESV0r62 .label text,#mermaid-svg-POfaPh337ESV0r62 span{fill:#333;color:#333;}#mermaid-svg-POfaPh337ESV0r62 .node rect,#mermaid-svg-POfaPh337ESV0r62 .node circle,#mermaid-svg-POfaPh337ESV0r62 .node ellipse,#mermaid-svg-POfaPh337ESV0r62 .node polygon,#mermaid-svg-POfaPh337ESV0r62 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-POfaPh337ESV0r62 .rough-node .label text,#mermaid-svg-POfaPh337ESV0r62 .node .label text,#mermaid-svg-POfaPh337ESV0r62 .image-shape .label,#mermaid-svg-POfaPh337ESV0r62 .icon-shape .label{text-anchor:middle;}#mermaid-svg-POfaPh337ESV0r62 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-POfaPh337ESV0r62 .rough-node .label,#mermaid-svg-POfaPh337ESV0r62 .node .label,#mermaid-svg-POfaPh337ESV0r62 .image-shape .label,#mermaid-svg-POfaPh337ESV0r62 .icon-shape .label{text-align:center;}#mermaid-svg-POfaPh337ESV0r62 .node.clickable{cursor:pointer;}#mermaid-svg-POfaPh337ESV0r62 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-POfaPh337ESV0r62 .arrowheadPath{fill:#333333;}#mermaid-svg-POfaPh337ESV0r62 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-POfaPh337ESV0r62 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-POfaPh337ESV0r62 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-POfaPh337ESV0r62 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-POfaPh337ESV0r62 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-POfaPh337ESV0r62 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-POfaPh337ESV0r62 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-POfaPh337ESV0r62 .cluster text{fill:#333;}#mermaid-svg-POfaPh337ESV0r62 .cluster span{color:#333;}#mermaid-svg-POfaPh337ESV0r62 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-POfaPh337ESV0r62 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-POfaPh337ESV0r62 rect.text{fill:none;stroke-width:0;}#mermaid-svg-POfaPh337ESV0r62 .icon-shape,#mermaid-svg-POfaPh337ESV0r62 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-POfaPh337ESV0r62 .icon-shape p,#mermaid-svg-POfaPh337ESV0r62 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-POfaPh337ESV0r62 .icon-shape .label rect,#mermaid-svg-POfaPh337ESV0r62 .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-POfaPh337ESV0r62 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-POfaPh337ESV0r62 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-POfaPh337ESV0r62 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 幻觉面孔
编造数值
凭空引用
张冠李戴
过度自信
越界臆测
共同点: 流畅但不真实

🎯 要点：识别幻觉的关键是------流畅不代表真实。尤其"精确的数值""具体的编号"最容易被"编"，因为它们符合模型的"像样补全"倾向，却完全没有事实依据。

三、四道防线，把幻觉"关进笼子" 🛡️

工业场景不能让 AI"裸奔"，需要用四道防线层层设卡：

防线 1：检索兜底（RAG）------让模型"有据可依"📚

不给模型自由发挥的空间 ，通过 RAG（第 04 期）先检索相关知识片段，并强制模型只基于资料回答，减少凭空编造。

防线 2：工具校验------用真实数据"对答案"🔧

涉及数值、状态、实时信息时，让智能体去调用真实工具查证（第 06、09 期），而不是让模型"凭记忆猜"。

防线 3：约束回答------明确"不知道就承认"🚫

在提示词里写明"仅依据给定资料回答，若资料中没有，明确说'无资料/不确定'，绝不编造"，并对输出格式做约束。

防线 4：人工闭环------关键结论人把关👷

对高影响结论（如操作建议、诊断结论），保留人工复核/确认环节，AI 做"参谋"，人做"决策"。
#mermaid-svg-9W9dMaLiKeuIdzHA{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-9W9dMaLiKeuIdzHA .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-9W9dMaLiKeuIdzHA .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-9W9dMaLiKeuIdzHA .error-icon{fill:#552222;}#mermaid-svg-9W9dMaLiKeuIdzHA .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-9W9dMaLiKeuIdzHA .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-9W9dMaLiKeuIdzHA .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-9W9dMaLiKeuIdzHA .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-9W9dMaLiKeuIdzHA .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-9W9dMaLiKeuIdzHA .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-9W9dMaLiKeuIdzHA .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-9W9dMaLiKeuIdzHA .marker{fill:#333333;stroke:#333333;}#mermaid-svg-9W9dMaLiKeuIdzHA .marker.cross{stroke:#333333;}#mermaid-svg-9W9dMaLiKeuIdzHA svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-9W9dMaLiKeuIdzHA p{margin:0;}#mermaid-svg-9W9dMaLiKeuIdzHA .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-9W9dMaLiKeuIdzHA .cluster-label text{fill:#333;}#mermaid-svg-9W9dMaLiKeuIdzHA .cluster-label span{color:#333;}#mermaid-svg-9W9dMaLiKeuIdzHA .cluster-label span p{background-color:transparent;}#mermaid-svg-9W9dMaLiKeuIdzHA .label text,#mermaid-svg-9W9dMaLiKeuIdzHA span{fill:#333;color:#333;}#mermaid-svg-9W9dMaLiKeuIdzHA .node rect,#mermaid-svg-9W9dMaLiKeuIdzHA .node circle,#mermaid-svg-9W9dMaLiKeuIdzHA .node ellipse,#mermaid-svg-9W9dMaLiKeuIdzHA .node polygon,#mermaid-svg-9W9dMaLiKeuIdzHA .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-9W9dMaLiKeuIdzHA .rough-node .label text,#mermaid-svg-9W9dMaLiKeuIdzHA .node .label text,#mermaid-svg-9W9dMaLiKeuIdzHA .image-shape .label,#mermaid-svg-9W9dMaLiKeuIdzHA .icon-shape .label{text-anchor:middle;}#mermaid-svg-9W9dMaLiKeuIdzHA .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-9W9dMaLiKeuIdzHA .rough-node .label,#mermaid-svg-9W9dMaLiKeuIdzHA .node .label,#mermaid-svg-9W9dMaLiKeuIdzHA .image-shape .label,#mermaid-svg-9W9dMaLiKeuIdzHA .icon-shape .label{text-align:center;}#mermaid-svg-9W9dMaLiKeuIdzHA .node.clickable{cursor:pointer;}#mermaid-svg-9W9dMaLiKeuIdzHA .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-9W9dMaLiKeuIdzHA .arrowheadPath{fill:#333333;}#mermaid-svg-9W9dMaLiKeuIdzHA .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-9W9dMaLiKeuIdzHA .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-9W9dMaLiKeuIdzHA .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-9W9dMaLiKeuIdzHA .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-9W9dMaLiKeuIdzHA .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-9W9dMaLiKeuIdzHA .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-9W9dMaLiKeuIdzHA .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-9W9dMaLiKeuIdzHA .cluster text{fill:#333;}#mermaid-svg-9W9dMaLiKeuIdzHA .cluster span{color:#333;}#mermaid-svg-9W9dMaLiKeuIdzHA div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-9W9dMaLiKeuIdzHA .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-9W9dMaLiKeuIdzHA rect.text{fill:none;stroke-width:0;}#mermaid-svg-9W9dMaLiKeuIdzHA .icon-shape,#mermaid-svg-9W9dMaLiKeuIdzHA .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-9W9dMaLiKeuIdzHA .icon-shape p,#mermaid-svg-9W9dMaLiKeuIdzHA .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-9W9dMaLiKeuIdzHA .icon-shape .label rect,#mermaid-svg-9W9dMaLiKeuIdzHA .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-9W9dMaLiKeuIdzHA .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-9W9dMaLiKeuIdzHA .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-9W9dMaLiKeuIdzHA :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 四道防线
① 检索兜底 RAG

有据可依
② 工具校验

真实数据对答案
③ 约束回答

不知道就承认
④ 人工闭环

关键环节人把关
让 AI '可信'

📌 要点：四道防线是**"从源头上减少幻觉 + 从机制上兜底幻觉"**的组合拳。前两道防"编"、后两道防"用"，层层设防，才能把高风险场景的幻觉风险压到最低。

四、可信智能体的"引用溯源"设计 📎

对工业场景，让 AI 的每个结论"可溯源" 是极高的可信保障。这意味着：
#mermaid-svg-FLxfBjD0uFl6vC06{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-FLxfBjD0uFl6vC06 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-FLxfBjD0uFl6vC06 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-FLxfBjD0uFl6vC06 .error-icon{fill:#552222;}#mermaid-svg-FLxfBjD0uFl6vC06 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-FLxfBjD0uFl6vC06 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-FLxfBjD0uFl6vC06 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-FLxfBjD0uFl6vC06 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-FLxfBjD0uFl6vC06 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-FLxfBjD0uFl6vC06 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-FLxfBjD0uFl6vC06 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-FLxfBjD0uFl6vC06 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-FLxfBjD0uFl6vC06 .marker.cross{stroke:#333333;}#mermaid-svg-FLxfBjD0uFl6vC06 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-FLxfBjD0uFl6vC06 p{margin:0;}#mermaid-svg-FLxfBjD0uFl6vC06 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-FLxfBjD0uFl6vC06 .cluster-label text{fill:#333;}#mermaid-svg-FLxfBjD0uFl6vC06 .cluster-label span{color:#333;}#mermaid-svg-FLxfBjD0uFl6vC06 .cluster-label span p{background-color:transparent;}#mermaid-svg-FLxfBjD0uFl6vC06 .label text,#mermaid-svg-FLxfBjD0uFl6vC06 span{fill:#333;color:#333;}#mermaid-svg-FLxfBjD0uFl6vC06 .node rect,#mermaid-svg-FLxfBjD0uFl6vC06 .node circle,#mermaid-svg-FLxfBjD0uFl6vC06 .node ellipse,#mermaid-svg-FLxfBjD0uFl6vC06 .node polygon,#mermaid-svg-FLxfBjD0uFl6vC06 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-FLxfBjD0uFl6vC06 .rough-node .label text,#mermaid-svg-FLxfBjD0uFl6vC06 .node .label text,#mermaid-svg-FLxfBjD0uFl6vC06 .image-shape .label,#mermaid-svg-FLxfBjD0uFl6vC06 .icon-shape .label{text-anchor:middle;}#mermaid-svg-FLxfBjD0uFl6vC06 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-FLxfBjD0uFl6vC06 .rough-node .label,#mermaid-svg-FLxfBjD0uFl6vC06 .node .label,#mermaid-svg-FLxfBjD0uFl6vC06 .image-shape .label,#mermaid-svg-FLxfBjD0uFl6vC06 .icon-shape .label{text-align:center;}#mermaid-svg-FLxfBjD0uFl6vC06 .node.clickable{cursor:pointer;}#mermaid-svg-FLxfBjD0uFl6vC06 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-FLxfBjD0uFl6vC06 .arrowheadPath{fill:#333333;}#mermaid-svg-FLxfBjD0uFl6vC06 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-FLxfBjD0uFl6vC06 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-FLxfBjD0uFl6vC06 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-FLxfBjD0uFl6vC06 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-FLxfBjD0uFl6vC06 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-FLxfBjD0uFl6vC06 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-FLxfBjD0uFl6vC06 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-FLxfBjD0uFl6vC06 .cluster text{fill:#333;}#mermaid-svg-FLxfBjD0uFl6vC06 .cluster span{color:#333;}#mermaid-svg-FLxfBjD0uFl6vC06 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-FLxfBjD0uFl6vC06 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-FLxfBjD0uFl6vC06 rect.text{fill:none;stroke-width:0;}#mermaid-svg-FLxfBjD0uFl6vC06 .icon-shape,#mermaid-svg-FLxfBjD0uFl6vC06 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-FLxfBjD0uFl6vC06 .icon-shape p,#mermaid-svg-FLxfBjD0uFl6vC06 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-FLxfBjD0uFl6vC06 .icon-shape .label rect,#mermaid-svg-FLxfBjD0uFl6vC06 .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-FLxfBjD0uFl6vC06 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-FLxfBjD0uFl6vC06 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-FLxfBjD0uFl6vC06 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} AI 给出的结论
结论1
依据: 规程第3章第2节
结论2
依据: 数据库查询结果(时间戳)
结论3
依据: 历史案例#47

设计要点：

结论附出处 ：每条结论标注依据来源（资料章节、数据查询、案例编号）；
可点击核实 ：用户可一键跳到原文/原始数据核对；
明确置信度 ：对不确定的判断给出置信提示（如"基于现有数据初步判断，建议进一步核实"）。

🎯 价值："可溯源"是工业可信的基础设施。当 AI 每条结论都有据可查、可被人工核实，它的"权威性"就不再是"模型自信"给的，而是"事实依据"给的------这才是工程师愿意信任的 AI。

五、工业可信 Agent 设计规范（Checklist）✅

综合前面四道防线与溯源设计，给出一个可直接对照的规范清单：

维度	规范要求	对应防线
知识来源	必须接 RAG，模型只基于资料回答	防线 1
实时数据	数值/状态一律工具查证，不凭记忆	防线 2
回答边界	提示词写明"无资料即承认，不编造"	防线 3
格式约束	强制结构化输出，便于校验	防线 3
溯源	每条结论附依据来源	溯源设计
人工确认	高危/写操作/决策需人 confirm	防线 4
审计日志	全链路留痕，可复盘	工程保障
灰度上线	小范围试用，对比人工验证后再扩大	落地策略

#mermaid-svg-2s5OQDOuoTqDFITm{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-2s5OQDOuoTqDFITm .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-2s5OQDOuoTqDFITm .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-2s5OQDOuoTqDFITm .error-icon{fill:#552222;}#mermaid-svg-2s5OQDOuoTqDFITm .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-2s5OQDOuoTqDFITm .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-2s5OQDOuoTqDFITm .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-2s5OQDOuoTqDFITm .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-2s5OQDOuoTqDFITm .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-2s5OQDOuoTqDFITm .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-2s5OQDOuoTqDFITm .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-2s5OQDOuoTqDFITm .marker{fill:#333333;stroke:#333333;}#mermaid-svg-2s5OQDOuoTqDFITm .marker.cross{stroke:#333333;}#mermaid-svg-2s5OQDOuoTqDFITm svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-2s5OQDOuoTqDFITm p{margin:0;}#mermaid-svg-2s5OQDOuoTqDFITm .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-2s5OQDOuoTqDFITm .cluster-label text{fill:#333;}#mermaid-svg-2s5OQDOuoTqDFITm .cluster-label span{color:#333;}#mermaid-svg-2s5OQDOuoTqDFITm .cluster-label span p{background-color:transparent;}#mermaid-svg-2s5OQDOuoTqDFITm .label text,#mermaid-svg-2s5OQDOuoTqDFITm span{fill:#333;color:#333;}#mermaid-svg-2s5OQDOuoTqDFITm .node rect,#mermaid-svg-2s5OQDOuoTqDFITm .node circle,#mermaid-svg-2s5OQDOuoTqDFITm .node ellipse,#mermaid-svg-2s5OQDOuoTqDFITm .node polygon,#mermaid-svg-2s5OQDOuoTqDFITm .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-2s5OQDOuoTqDFITm .rough-node .label text,#mermaid-svg-2s5OQDOuoTqDFITm .node .label text,#mermaid-svg-2s5OQDOuoTqDFITm .image-shape .label,#mermaid-svg-2s5OQDOuoTqDFITm .icon-shape .label{text-anchor:middle;}#mermaid-svg-2s5OQDOuoTqDFITm .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-2s5OQDOuoTqDFITm .rough-node .label,#mermaid-svg-2s5OQDOuoTqDFITm .node .label,#mermaid-svg-2s5OQDOuoTqDFITm .image-shape .label,#mermaid-svg-2s5OQDOuoTqDFITm .icon-shape .label{text-align:center;}#mermaid-svg-2s5OQDOuoTqDFITm .node.clickable{cursor:pointer;}#mermaid-svg-2s5OQDOuoTqDFITm .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-2s5OQDOuoTqDFITm .arrowheadPath{fill:#333333;}#mermaid-svg-2s5OQDOuoTqDFITm .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-2s5OQDOuoTqDFITm .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-2s5OQDOuoTqDFITm .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-2s5OQDOuoTqDFITm .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-2s5OQDOuoTqDFITm .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-2s5OQDOuoTqDFITm .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-2s5OQDOuoTqDFITm .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-2s5OQDOuoTqDFITm .cluster text{fill:#333;}#mermaid-svg-2s5OQDOuoTqDFITm .cluster span{color:#333;}#mermaid-svg-2s5OQDOuoTqDFITm div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-2s5OQDOuoTqDFITm .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-2s5OQDOuoTqDFITm rect.text{fill:none;stroke-width:0;}#mermaid-svg-2s5OQDOuoTqDFITm .icon-shape,#mermaid-svg-2s5OQDOuoTqDFITm .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-2s5OQDOuoTqDFITm .icon-shape p,#mermaid-svg-2s5OQDOuoTqDFITm .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-2s5OQDOuoTqDFITm .icon-shape .label rect,#mermaid-svg-2s5OQDOuoTqDFITm .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-2s5OQDOuoTqDFITm .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-2s5OQDOuoTqDFITm .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-2s5OQDOuoTqDFITm :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 可信Agent Checklist
接RAG+工具核查
约束不编造+结构化
结论可溯源
人工确认高危
审计留痕+灰度上线
可信任的工业智能体

⚠️ 给工业人的最终提醒 ："可信"不是一蹴而就，而是"设计"出来的 。别指望随便套个大模型就放心用，而是从第一行提示词、第一个工具、第一条上线规则起，就把"防幻觉、可溯源、人闭环"刻进基因。这才是工业 AI 从"能用"到"敢用"的跨越。

🎯 本期小结

幻觉是"逐词预测"的本性，在钢铁等高可靠场景风险被放大，必须认真对待；
幻觉常以编造数值、凭空引用、张冠李戴、过度自信、越界臆测的面目出现，准确识别是前提；
四道防线 ：RAG 检索兜底、工具真实校验、约束不编造回答、关键人工闭环；
"引用溯源"设计让每条结论有据可查，是被工程师信任的关键；
可信 Checklist：接知识、约束答、可溯源、人确认、留痕、灰度；
"可信"是设计出来的，要从第一行提示词做起，把防幻觉刻进基因。

下一期预告：技术、能力、可信度都讲透了，该回答"怎么真正把大模型落到企业里"了。第 11 期《落地实施篇：大模型在工业/钢铁企业落地的路径与避坑》，我们讲透从 POC 到生产的落地路线图、私有化部署 vs 云端的取舍、数据安全红线与组织人才配套，让蓝图变成现实。

作者：高炉炼铁智能化技术研究者，专注钢铁冶金与人工智能 +交叉领域。

👍 如果觉得有帮助，请点赞、收藏、转发！

版权归作者所有，未经许可请勿抄袭，套用，商用(或其它具有利益性行为) 。

🔔 关注专栏，不错过后续精彩内容