提示注入

圣殿骑士-Khtangc6 天前
人工智能·大模型安全·提示注入
大模型安全红队实战:提示注入、越狱攻击与防御体系当你把 LLM 部署到生产环境,安全威胁就随之而来。提示注入、越狱攻击、数据泄露……这些不是理论研究,而是已经在真实应用中发生的工程问题。本文从攻击视角出发,帮你建立一套可落地的大模型安全防御体系。
AI大佬的小弟13 天前
ai安全·ai入门·越狱攻击·红队测试·提示注入·大模型基础概念·redteaming
大模型名词精讲17:红队测试(Red Teaming)不管对齐做得多好,总有人想方设法绕过安全限制,让AI做不该做的事。就像再坚固的锁,也挡不住专业的开锁匠。
thesky12345621 天前
视觉定位·浏览器自动化·智能体·面试准备·gui agent·computer use·提示注入
智能体面试准备(二十四):GUI 智能体与 Computer Use——视觉定位、动作空间、状态同步与安全边界上一篇《灰度发布与回滚》讲的是如何让 Agent 的改动安全落地,这一篇转向一个完全不同的形态:当 Agent 的动作不再是调用 API,而是移动鼠标、敲击键盘、点击屏幕上的按钮时,整套工程范式会发生什么变化。这是 B 系列第二十四篇。2024 年 Anthropic 发布 Computer Use、OpenAI 推出 Operator 之后,GUI 智能体从实验室 demo 变成了产品形态。它的吸引力显而易见——世界上绝大多数软件没有 API,但都有界面。企业内部那些十几年前的 ERP、政务系统的网页表
thesky1234561 个月前
防御·智能体·ai安全·面试准备·越狱·提示注入
智能体面试准备(十六):智能体安全实战——提示注入、越狱、工具滥用与防御上一篇《多智能体协作框架实战》讲的是"怎么把多个 Agent 组织起来干活"。但一旦 Agent 能调用工具、读写文件、发邮件、动数据库,它就从"聊天机器人"变成了"有执行权的数字员工"——攻击面瞬间爆炸。这一篇把智能体安全(Agent Security)从概念拉到工程:四类核心威胁(提示注入 / 越狱 / 工具滥用 / 数据泄露)→ 攻击链路拆解 → 防御分层方案 → 最小可运行防护代码 → 红蓝对抗思路。配合前面的《MCP》《多智能体》一起看,刚好串成"能力越强、护栏越要跟上"的完整认知。
Rubin智造社3 个月前
零信任·一人公司·创业读书笔记·ai智能体安全·anthropic白皮书·提示注入
Anthropic安全白皮书1|零信任 for AI Agents:AI时代的智能体安全,不能再靠“防火墙”了你部署了一个AI智能体,它能自动读邮件、查数据库、调用API,还能和其他智能体协作。高效,方便,省人力。
我是有底线的