设计一套AI系统的输入安全基线，核心在于构建一个纵深防御 体系，从源头拦截风险。其总体思路是：不信任任何输入，隔离指令与数据，并实施最小权限原则。
以下是一套可落地的输入安全基线框架，可参考中国信通院提出的"三步走"实战路径来分阶段实施。
🧱 核心原则
设计前，需明确以下指导原则：
- 纵深防御 (Defense in Depth)：部署多层、多样化的安全控制，而非依赖单一防护手段。
- 最小权限 (Least Privilege)：仅授予AI系统完成任务所必需的最小权限。
- 永不信任输入 (Never Trust Input)：将所有用户输入、上传文件、外部数据等都视为潜在恶意。
- 隔离指令与数据：严格区分系统指令和用户数据，防止用户输入干扰系统核心规则。
- 零信任 (Zero Trust)：默认不信任任何请求，每次交互都必须经过验证和授权。
🛡️ 输入安全基线框架（四层防护）
可以将防护体系设计为以下四个层次：
1. 预处理层：净化与标准化
在输入进入核心检测前进行预处理，降低后续处理难度。
- 格式与长度校验：验证输入是否符合预期的数据类型、格式和长度，拒绝畸形或超长输入。
- 输入清洗 (Sanitization)：移除或转义可能构成威胁的特殊控制字符、HTML标签或代码片段。
- 规范化：将输入转换为统一的格式（如小写、标准化Unicode），以绕过基于字符串匹配的检测。
2. 检测层：识别与分类
这是基线中最核心的检测环节，对输入内容进行深度分析。
- 多维度风险检测 ：针对不同来源的输入进行专项检测：
- 用户直接输入 ：检测提示词注入 （直接/间接/隐式）、越狱尝试（如角色扮演）、违法意图等。
- 上传文件/外部数据 ：检测间接提示词注入，即文档内容是否包含恶意指令；并进行恶意代码扫描。
- 多轮对话上下文 ：追踪对话历史，检测渐进式诱导攻击，即单条消息无害但组合起来形成威胁。
- 多种检测技术结合 ：
- 规则引擎：基于黑白名单、正则表达式快速匹配已知攻击模式。
- 语义理解：利用AI模型识别对抗性样本，理解输入的真实意图。
- 行为分析：结合用户历史行为进行动态风险评估。
3. 鉴权层：校验与决策
基于检测结果，执行访问控制和风险决策。
- 身份认证与授权 ：确认用户身份，并依据最小权限原则校验其是否有权执行请求的操作。
- 风险分级与决策 ：根据检测结果进行风险分级，并采取相应动作。
- 低风险：放行，进入模型。
- 中风险：限制其功能，如禁止调用工具。
- 高风险：直接拦截，或由预设的"安全代答"回复。
- 高危操作熔断 ：对于匹配到高危规则库（如系统逃逸指令）的请求，立即熔断，终止处理。
4. 执行层：隔离与控制
在模型处理输入及后续行动时，确保安全边界。
- 指令隔离 ：在系统提示词中明确使用分隔符，确保系统指令的优先级绝对高于用户输入。
- 沙箱隔离：对来自外部环境的数据（如邮件附件、网页内容）在隔离的沙箱中解析，提取安全数据后再传入主系统。
- 工具调用管控 ：对AI可调用的工具/插件实施白名单机制，并对关键参数（如转账金额、收件人）进行校验。
- 人工确认 (Human-in-the-loop)：对于支付、删除数据等高危操作，强制执行人工二次确认。
🚀 实施步骤与持续运营
- 部署前：建立安全基线：参考行业标准（如Microsoft Cloud Security Benchmark、OWASP LLM Top 10），在部署前构建从基础级到企业级的安全基线。
- 部署后：嵌入安全防线：将上述四层防护嵌入应用的输入、决策链、执行等环节。
- 持续运营：全链条监测 ：
- 全链路审计：记录所有输入、决策和操作的完整日志，确保可追溯。
- 定期评估与迭代：定期进行安全测评和红蓝对抗演练，并根据新的攻击样本持续优化策略。
- 动态更新：建立安全的指令和策略更新流程，如数字签名验证、沙箱预执行和灰度发布。
💎 总结
这套输入安全基线是一个从预处理 到执行的完整闭环。它要求在设计、开发、部署和运营的每一个环节都融入安全考量，通过对输入的全生命周期管理，将外部风险降到最低。