摘要： 本文从产品经理视角梳理大模型、Prompt、RAG、Agent、评测和安全之间的关系，说明它们不是孤立名词，而是一条从输入到输出、从价值到风险的产品链。文章先解释核心概念，再说明企业为什么需要 AI 产品经理，随后拆解真实企业流程的九个阶段，明确产品经理在任务选择、答案契约、评测验收和 Agent 治理中的职责，最后讨论技术实现要点以及 AI 时代产品经理需要守住的安全与可信边界。
|------------------------------------------------------------------|
| 本章结论 大模型、Prompt、RAG、Agent、评测和安全不是孤立名词，而是一条从输入到输出、从价值到风险的产品链。 |
图 4 RAG 知识问答链路：身份、证据、输出和异常治理缺一不可
概念解释
大模型可以根据上下文生成文本、代码或结构化结果，但它并不知道你的业务规则，也不会自动对自己的回答负责。Prompt 是任务、上下文、约束和输出格式的组合；RAG 是先检索资料，再让模型基于资料回答；Agent 是让模型在工具、状态和规则约束下完成多步任务。
这些能力的共同点是：模型不是业务系统。真正可用的 AI 产品还需要身份权限、数据治理、上下文组装、输出校验、日志、评测和人工兜底。把文件上传到模型接口，不能自动变成可用的知识库。
产品经理学习 AI 技术，不是为了背结构图，而是为了判断哪一步会影响用户结果。例如召回不到资料会导致"模型没有依据"，权限过滤错误会导致"回答越权"，输出格式不稳定会导致"后端无法入库"。
最实用的理解方式是沿着一次请求走一遍：用户提问---身份确认---问题改写---检索资料---权限和版本过滤---上下文拼装---模型生成---引用和格式校验---拒答或人工升级---日志和评测。
为什么企业需要
企业需要 AI 产品经理把技术炫技过滤掉，优先选择能改善流程、降低成本、提升质量或形成差异化能力的场景。一个场景如果没有用户、资料、指标和责任人，就不适合直接立项。
企业也要控制错误、泄露、越权、成本、延迟、版本变化和责任归属。越接近医疗、金融、交易或人事决策，越不能只看 Demo 的流畅程度。
AI 产品的价值往往来自流程重构：让知识可查、经验可复制、题目可生成但需审核、反馈可回流，而不是单纯在页面上增加一个聊天框。
真实企业流程
把流程拆成可交付的阶段，产品经理才能知道下一步要推动什么。
|--------|-------------------------------------------------------|
| 阶段 | 关键动作 |
| 步骤 1 | 1. 选任务：明确用户、输入、期望输出、可接受错误和不可接受错误，区分生成、检索、分类、抽取、总结和执行。 |
| 步骤 2 | 2. 定答案契约：规定回答范围、引用要求、格式、无依据时的表达、风险提示和人工升级路径。 |
| 步骤 3 | 3. 治理知识：资料清理、切分、来源、版本、组织、地区、岗位和生效/失效时间都要可追踪。 |
| 步骤 4 | 4. 设计检索：召回候选资料，进行权限和版本过滤，必要时重排，保留来源信息供引用和审计。 |
| 步骤 5 | 5. 约束生成：用 Prompt 说明任务和边界，使用结构化输出或字段校验，防止模型回答无法被系统消费。 |
| 步骤 6 | 6. 加人工边界：高风险内容、低置信度、用户不满意、越权意图或模型无法确定时，转人工或只读展示。 |
| 步骤 7 | 7. 建黄金集：用业务专家整理代表性问题、期望答案、正确引用和风险标签，作为离线回归基线。 |
| 步骤 8 | 8. 做评测：至少看答案正确性、引用准确性、正确拒答、版本/地区匹配、越权风险、延迟和成本。 |
| 步骤 9 | 9. 上线运营：收集反馈、失败问题、知识缺口、人工升级和版本变化，形成可追踪的迭代闭环。 |
产品经理职责
- 选择适合 AI 的任务，避免把确定性规则交给模型；对于强一致、强约束、需要审计的动作优先采用系统规则。
- 设计答案契约，推动业务专家参与资料准入、黄金问题和错误判定，不让"AI 好不好"停留在个人感觉。
- 把评测指标和风险用例写入验收标准，让模型、Prompt、知识和安全规则的变更有回归依据。
- 和研发一起讨论上下文长度、召回、缓存、超时、重试、成本、日志、权限和输出校验，能够解释它们如何影响产品。
- 定义 Agent 的工具权限、调用次数、人工确认和停止条件；涉及外发、删除、交易或医疗决策时默认采用只读或人工确认。
技术实现理解
RAG 链路通常包括文档解析、切片、索引、召回、重排、权限过滤、上下文拼接、模型生成、引用返回和日志。产品经理要关注每一步输入输出和失败提示。
向量检索擅长语义相似，关键词检索适合精确术语；实际方案可能组合使用。产品经理不必决定每个算法细节，但要知道召回质量会直接影响答案上限。
Prompt 设计至少要包含角色/任务、可用上下文、边界规则、输出格式、引用要求和拒答条件；长 Prompt 不能替代干净的数据和清楚的需求。
Agent 比单轮问答多了工具和状态，因此要额外关注循环、超时、权限、工具参数、幂等、人工确认和可审计性。
评测指标要和错误代价对应。可以用 Recall@K 看目标资料是否被召回，用引用正确率看依据是否匹配，用正确拒答率看边界是否守住，再结合人工评分和风险用例。
AI时代变化
AI 时代的产品经理必须会写"不会做什么"：不回答无依据问题，不越过组织权限，不混用旧版资料，不把培训资料冒充临床诊疗建议，不在不确定时伪装确定。
Prompt、RAG 和 Agent 都只是手段。用户真正感知的是回答是否有用、是否可信、是否可追溯、是否能完成下一步工作。
评测不是上线后的补救，而是功能定义的一部分。没有黄金问题集，就很难知道系统升级后是变好了还是只是换了一种说法。
安全也不是单独的合规章节，而是体验的一部分：用户应知道答案来自哪里、何时不可靠、为什么被拒答、下一步找谁。