第14期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区,集成了生成预训练 Transformer(GPT)、人工智能生成内容(AIGC)以及大型语言模型(LLM)等安全领域应用的知识。在这里,您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令(Prompts)。现为了更好地知悉近一周的贡献内容,现总结如下。

一、Security Papers

🔹ChatGPT Al in Security Testing: Opportunities and Challenges

简介:本报告中将深入探讨在安全测试中使用ChatGPTAI的机遇和挑战。我们将探讨如何使用ChatGPTAI来自动化各种安全测试任务,例如漏洞扫描和渗透测试。此外,我们将研究ChatGPTAI在提高安全测试准确性和效率方面的潜力。然而,重要的是要考虑在安全测试中使用AI带来的挑战,例如数据隐私和道德问题。

链接:https://www.cyfirma.com/outofband/chatgpt-ai-in-security-testing-opportunities-and-challenges/

🔹Chatbots to ChatGPT in a Cybersecurity Space:Evolution, Vulnerabilities, Attacks, Challenges, andFuture Recommendations

简介:随着普及程度的提高,聊天机器人遇到了网络安全威胁和漏洞。本文讨论了相关文献、报告,以及针对聊天机器人产生的解释性事件攻击。

链接:https://arxiv.org/pdf/2306.09255.pdf

🔹BadPrompt: Backdoor Attacks on ContinuousPrompts

简介:本文主要研究小样本场景下通过连续prompt对大模型后门攻击。

链接:https://arxiv.org/pdf/2211.14719.pdf

🔹ChatGPT羊驼家族全沦陷!CMU博士击破LLM护栏,人类毁灭计划脱口而出

简介:CMU和人工智能安全中心的研究人员发现,只要通过附加一系列特定的无意义token,就能生成一个神秘的prompt后缀。由此,任何人都可以轻松破解LLM的安全措施,生成无限量的有害内容。

链接:https://mp.weixin.qq.com/s/298nwP98UdRNybV2Fuo6Wg

二、Security Tools

🔹Universal and Transferable Adversarial Attacks on Aligned Language Models

简介:在本文中,我们提出了一种简单有效的攻击方法,该方法可使对齐的语言模型生成令人反感的行为。具体来说,我们的方法找到了一个后缀,当附加到LLM的广泛查询以产生令人反感的内容时,该后缀旨在最大化模型产生肯定响应(而不是拒绝回答)的概率。

论文链接:https://arxiv.org/abs/2307.15043

代码链接:https://github.com/llm-attacks/llm-attacks

🔹利用 Codex 的 API 来构建与网络安全相关的自动化工具

简介:虽然 OpenAI Codex 本身并非专门针对网络安全设计的工具,但它基于 GPT-3.5-turbo 模型,可用于编写、审查和分析代码,包括网络安全相关的代码。我们可以利用 Codex 的 API 来构建与网络安全相关的自动化工具,例如自动生成漏洞扫描脚本或辅助渗透测试。

链接:https://openai.com/blog/openai-codex

🔹Ret2GPT

简介:主要面向CTF类二进制安全设计的工具:Ret2GPT,通过使用 ChatGPT API + Retdec + Langchain,用户可以通过问答+构造好的Prompt 或者 直接使用以及构造好的Prompt 对 特定二进制文件进行漏洞挖掘 起到一个很好的漏洞挖掘助手的功能。

链接:https://github.com/DDizzzy79/Ret2GPT

相关推荐
booooooty1 分钟前
基于Spring AI Alibaba的多智能体RAG应用
java·人工智能·spring·多智能体·rag·spring ai·ai alibaba
墨风如雪25 分钟前
AI“读心术”进化:昆仑万维天工奖励模型V2,参数越小,能力越“怪”!
aigc
PyAIExplorer29 分钟前
基于 OpenCV 的图像 ROI 切割实现
人工智能·opencv·计算机视觉
风口猪炒股指标31 分钟前
技术分析、超短线打板模式与情绪周期理论,在市场共识的形成、分歧、瓦解过程中缘起性空的理解
人工智能·博弈论·群体博弈·人生哲学·自我引导觉醒
ai_xiaogui1 小时前
一键部署AI工具!用AIStarter快速安装ComfyUI与Stable Diffusion
人工智能·stable diffusion·部署ai工具·ai应用市场教程·sd快速部署·comfyui一键安装
聚客AI2 小时前
Embedding进化论:从Word2Vec到OpenAI三代模型技术跃迁
人工智能·llm·掘金·日新计划
weixin_387545642 小时前
深入解析 AI Gateway:新一代智能流量控制中枢
人工智能·gateway
小溪彼岸2 小时前
GPT-4o的修图能力强的可怕?
chatgpt·aigc
聽雨2373 小时前
03每日简报20250705
人工智能·社交电子·娱乐·传媒·媒体
二川bro3 小时前
飞算智造JavaAI:智能编程革命——AI重构Java开发新范式
java·人工智能·重构