论文阅读:Taxonomy of Adversarial Attacks on Text-to-Image Generative Models

Taxonomy of Adversarial Attacks on Text-to-Image Generative Models

论文链接

文生图模型因为其强大的生成能力而十分流行。,然而,一些揭示了文生图模型的弱点的对抗攻击引起了广泛地关注。这些对抗攻击会使得模型生成一些不安全的内容,比如暴力、血腥和色情等。本文提出了一个文生图模型上的对抗攻击的分类法,将这些对抗攻击分为了5个类别:
Typographic Attacks :扰动输入文本提示词,使得模型生成不准确的内容。
Figurative Attacks :替换敏感词以逃避关键词过滤器。
Camouflage Attacks :通过一些稀有的表达方式,使得模型生成自认为安全,但是对人类来说并不安全的内容
Prompt Dilution Attacks :向提示词中添加无关的内容。
Medium Obfuscation Attacks :通过改变提出的上下文和媒介来诱导模型生成不适宜内容。

作者在Stable Diffusion模型上评估了上面的5种方法,结果如下:

可以看到,这些攻击在Stable Diffusion上的成功率和还是比较高的。这也说明,当前Stable Diffusion上的安全机制尚且不是很严格。需要注意的是,这篇论文里的对抗攻击主要的目的是逃脱安全过滤器,一些生成特定内容或者仅仅是生成和原始输出不一致的内容的攻击方法并没有被这个分类法所囊括。

相关推荐
洞窝技术几秒前
调教专属SKILL:周报助理,文案秘书
aigc
手写码匠40 分钟前
从零实现 Prompt 工程引擎:结构化提示、自动优化与多轮自省体系
人工智能·深度学习·算法·aigc
后端小肥肠4 小时前
不会做视频的我,用 Codex 跑通口播 + 自动剪辑,获客 20+
人工智能·aigc·agent
92year4 小时前
LLM推理引擎实战横评:vLLM、SGLang、TensorRT-LLM 在 H100 上的真实表现
aigc
Sirius Wu5 小时前
当前主流 RAG 架构全景及轻量级向量库选型深度分析
运维·人工智能·架构·aigc
hugo_im6 小时前
Mac M4 安装 sd-webui 踩坑全记录
stable diffusion
sunneo9 小时前
第七节:Workspace Trust & Permissions——安全的 AI 协作
ai作画·aigc·ai编程·ai写作·ai-native
再让我睡两分钟10 小时前
【系列预告】AI应用开发实战课:26篇教程覆盖 Prompt、RAG、Agent 与工程化
aigc·ai应用开发
sunneo10 小时前
第三节:用AI让重复任务一键完成——prompts.md 文件详解
ai作画·aigc·ai编程·ai写作·ai-native
夜雪闻竹10 小时前
5 种 AI 对话数据格式全解析
人工智能·aigc·ai编程·ai-native·chatcrystal