GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。
一、Security Papers
🔹ChatGPT Al in Security Testing: Opportunities and Challenges
简介：本报告中将深入探讨在安全测试中使用ChatGPTAI的机遇和挑战。我们将探讨如何使用ChatGPTAI来自动化各种安全测试任务，例如漏洞扫描和渗透测试。此外，我们将研究ChatGPTAI在提高安全测试准确性和效率方面的潜力。然而，重要的是要考虑在安全测试中使用AI带来的挑战，例如数据隐私和道德问题。
链接：https://www.cyfirma.com/outofband/chatgpt-ai-in-security-testing-opportunities-and-challenges/
🔹Chatbots to ChatGPT in a Cybersecurity Space:Evolution, Vulnerabilities, Attacks, Challenges, andFuture Recommendations
简介：随着普及程度的提高，聊天机器人遇到了网络安全威胁和漏洞。本文讨论了相关文献、报告，以及针对聊天机器人产生的解释性事件攻击。
链接：https://arxiv.org/pdf/2306.09255.pdf
🔹BadPrompt: Backdoor Attacks on ContinuousPrompts
简介：本文主要研究小样本场景下通过连续prompt对大模型后门攻击。
链接：https://arxiv.org/pdf/2211.14719.pdf
🔹ChatGPT羊驼家族全沦陷！CMU博士击破LLM护栏，人类毁灭计划脱口而出
简介：CMU和人工智能安全中心的研究人员发现，只要通过附加一系列特定的无意义token，就能生成一个神秘的prompt后缀。由此，任何人都可以轻松破解LLM的安全措施，生成无限量的有害内容。
链接：https://mp.weixin.qq.com/s/298nwP98UdRNybV2Fuo6Wg
二、Security Tools
🔹Universal and Transferable Adversarial Attacks on Aligned Language Models
简介：在本文中，我们提出了一种简单有效的攻击方法，该方法可使对齐的语言模型生成令人反感的行为。具体来说，我们的方法找到了一个后缀，当附加到LLM的广泛查询以产生令人反感的内容时，该后缀旨在最大化模型产生肯定响应（而不是拒绝回答）的概率。
论文链接：https://arxiv.org/abs/2307.15043
代码链接：https://github.com/llm-attacks/llm-attacks
🔹利用 Codex 的 API 来构建与网络安全相关的自动化工具
简介：虽然 OpenAI Codex 本身并非专门针对网络安全设计的工具，但它基于 GPT-3.5-turbo 模型，可用于编写、审查和分析代码，包括网络安全相关的代码。我们可以利用 Codex 的 API 来构建与网络安全相关的自动化工具，例如自动生成漏洞扫描脚本或辅助渗透测试。
链接：https://openai.com/blog/openai-codex
🔹Ret2GPT
简介：主要面向CTF类二进制安全设计的工具：Ret2GPT，通过使用 ChatGPT API + Retdec + Langchain，用户可以通过问答+构造好的Prompt 或者 直接使用以及构造好的Prompt 对 特定二进制文件进行漏洞挖掘 起到一个很好的漏洞挖掘助手的功能。