Prompt Fuzzer:用于增强 GenAI 应用程序的开源工具

Prompt Fuzzer 是一个开源工具,可以评估GenAI应用程序的系统提示针对基于动态 LLM 的威胁的安全性。

Prompt Fuzzer 功能:

  1. 模拟十几种类型的 GenAI 攻击。

  2. 该工具会根据系统提示自动进行情境化,针对与 GenAI 应用程序相关的特定主题或行业定制攻击。

  3. 它具有交互性并且用户友好。

  4. 用户可以根据需要重复该过程多次以强化他们的系统提示,并且会看到随着系统提示变得更安全、更具弹性,他们的安全分数如何增加。

  5. Prompt Fuzzer 支持 20 个 LLM 提供商。

未来计划和下载:我们将继续不断添加新的攻击,以跟上 GenAI 风险的步伐,并且我们计划进行更多整合。

https://github.com/prompt-security/ps-fuzz

Prompt Fuzzer 可在GitHub上免费获取。请注意,使用 Prompt Fuzzer 会导致令牌的消耗。

相关推荐
xingshanchang2 分钟前
Anaconda Prompt 切换工作路径的方法
prompt
神经星星3 小时前
多主体驱动生成能力达SOTA,字节UNO模型可处理多种图像生成任务
人工智能·开源·强化学习
自由鬼5 小时前
开源身份和访问管理(IAM)解决方案:Keycloak
服务器·数据库·安全·开源·身份认证·单点登录
何双新5 小时前
Prompt 攻击与防范:大语言模型安全的新挑战
安全·语言模型·prompt
带娃的IT创业者5 小时前
《AI大模型应知应会100篇》第22篇:系统提示词(System Prompt)设计与优化
人工智能·prompt
AI大模型顾潇6 小时前
[特殊字符] Prompt如何驱动大模型对本地文件实现自主变更:Cline技术深度解析
前端·人工智能·llm·微调·prompt·编程·ai大模型
蚝油菜花6 小时前
音乐人必看!OpenUtau:开源AI歌声合成神器,快速打造专业级虚拟歌手,中文日文无缝切换
人工智能·开源
蚝油菜花7 小时前
只管提需求,AI来帮你修图!ImagePulse:魔搭开源图像处理神器!原子级数据集让AI秒懂修图指令
人工智能·开源
蚝油菜花7 小时前
从虚拟到现实!Aether:上海AI Lab开源的生成式世界模型,4D动态重建+视觉规划全搞定
人工智能·开源
蚝油菜花7 小时前
视觉分词器突破天花板!GigaTok:港大字节联手打造3B参数视觉分词器,突破图像生成瓶颈
人工智能·开源