第21期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区,集成了生成预训练 Transformer(GPT)、人工智能生成内容(AIGC)以及大型语言模型(LLM)等安全领域应用的知识。在这里,您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令(Prompts)。现为了更好地知悉近一周的贡献内容,现总结如下。

1. Security Papers

**·**Analyzing Leakage of Personally Identifiable Information in Language Models

**简介:**在这项工作中,我们通过黑盒提取、推理和重构攻击,对三种类型的PII泄露进行了重新定义,这些攻击只需通过API访问LM。我们在法律、医疗保健和电子邮件这三个领域对经过微调的GPT-2模型进行了实证评估。

链接: https://ieeexplore.ieee.org/document/10179300

**·**Towards JavaScript program repair with generative pre-trained transformer (GPT-2)

**简介:**据我们所知,迄今为止,GPT-2 模型尚未用于自动程序修复。该模型针对特定任务进行了微调:它被用来自动修复JavaScript Bug。为此,我们在16863个JS代码片段上对该模型进行了训练,使其能够学习所观察到的编程语言的性质。在实验中,我们观察到 GPT-2 模型尽管在某些情况下它未能学会良好的错误修复但几乎每次都能学会如何编写语法正确的源代码。不过,在大多数情况下,它都能生成正确的修正,总体准确率高达 17.25%。

链接: https://dl.acm.org/doi/abs/10.1145/3524459.3527350

**·**Automated CVE Analysis for Threat Prioritization and Impact Prediction

**简介:**在这项研究中,我们介绍了新的预测模型和工具(称为CVEDrill),它彻底改变了CVE分析和威胁优先级。CVEDrill准确地估计CVSSvector,以实现精确的威胁缓解和优先级排序,并将cve无缝地自动分类到适当的CWE层次结构类中。通过利用CVEDrill,组织现在可以以无与伦比的准确性和及时性实施网络安全对策缓解,在该领域超越ChaptGPT等最先进工具的能力。

链接: https://arxiv.org/pdf/2309.03040.pdf

**·**Reverse-Engineering Decoding Strategies Given Blackbox Access to a Language Generation System

**简介:**在本文中,我们提出了对用于生成文本的解码方法进行逆向工程的方法(即top-k或核采样)。我们发现使用了哪种解码策略的能力对检测生成的文本具有重要意义。此外,发现解码策略的过程可以揭示由于选择解码设置而导致的偏差,这些设置严重截断了模型的预测分布。

链接: https://arxiv.org/pdf/2309.04858.pdf

**·**GenAIPABench: A Benchmark for Generative AI-based Privacy Assistants

**简介:**本研究介绍了genaipabach,这是一个新的基准测试框架,旨在评估基于生成人工智能的隐私助理(GenAIPAs)的性能。genaipbench包括:1)关于组织隐私政策和数据保护法规的全面问题集,以及针对多个组织和法规的注释答案;2)一套稳健的评估指标,用于评估生成响应的准确性、相关性和一致性;3)一个评估工具,生成适当的提示,将系统引入隐私文档和不同的隐私问题变体,以评估其稳健性。

链接: https://arxiv.org/pdf/2309.05138.pdf

**·**FuzzLLM: A Novel and Universal Fuzzing Framework for Proactively Discovering Jailbreak Vulnerabilities in Large Language Models

**简介:**虽然模型所有者可以通过安全培训策略抵御个别越狱提示,但这种相对被动的方法很难处理更广泛的类似越狱类别。为了解决这个问题,我们引入了FuzzLLM,这是一个自动模糊测试框架,旨在主动测试和发现llm中的越狱漏洞。

链接: https://arxiv.org/pdf/2309.05274.pdf

相关推荐
蓝海星梦6 分钟前
【论文笔记】R-HORIZON:重塑长周期推理评估与训练范式
论文阅读·人工智能·深度学习·自然语言处理·大型推理模型
da_vinci_x16 分钟前
Substance 3D 材质流:AI 快速生成与程序化精修
人工智能·游戏·3d·材质·设计师·技术美术·游戏美术
aneasystone本尊21 分钟前
重温 Java 21 之密钥封装机制 API
人工智能
欢聚赢销CRM23 分钟前
从“各自为战“到“数据协同“:销采一体化CRM正在重构供应链竞争力
大数据·人工智能·重构·数据分析
IT_陈寒29 分钟前
Python 3.12 新特性实战:10个让你代码更优雅的隐藏技巧
前端·人工智能·后端
说私域32 分钟前
基于开源AI智能名片链动2+1模式与S2B2C商城小程序的商家活动策略研究
人工智能·小程序
亚马逊云开发者34 分钟前
Agentic AI基础设施实践经验系列(八):Agent应用的隐私和安全
人工智能
大模型真好玩40 分钟前
GPT-5.1 核心特性深度解析,它会是模型性能的新标杆吗?
人工智能
综合热讯1 小时前
微软Office下线“重用幻灯片”功能,WPS反向升级:AI让旧功能焕新生
人工智能·microsoft·wps
xinyu_Jina2 小时前
FIRE之旅 财务计算器:金融独立模型中的复利可视化与敏感性分析
人工智能·程序人生·信息可视化·金融·程序员创富