第21期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区,集成了生成预训练 Transformer(GPT)、人工智能生成内容(AIGC)以及大型语言模型(LLM)等安全领域应用的知识。在这里,您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令(Prompts)。现为了更好地知悉近一周的贡献内容,现总结如下。

1. Security Papers

**·**Analyzing Leakage of Personally Identifiable Information in Language Models

**简介:**在这项工作中,我们通过黑盒提取、推理和重构攻击,对三种类型的PII泄露进行了重新定义,这些攻击只需通过API访问LM。我们在法律、医疗保健和电子邮件这三个领域对经过微调的GPT-2模型进行了实证评估。

链接: https://ieeexplore.ieee.org/document/10179300

**·**Towards JavaScript program repair with generative pre-trained transformer (GPT-2)

**简介:**据我们所知,迄今为止,GPT-2 模型尚未用于自动程序修复。该模型针对特定任务进行了微调:它被用来自动修复JavaScript Bug。为此,我们在16863个JS代码片段上对该模型进行了训练,使其能够学习所观察到的编程语言的性质。在实验中,我们观察到 GPT-2 模型尽管在某些情况下它未能学会良好的错误修复但几乎每次都能学会如何编写语法正确的源代码。不过,在大多数情况下,它都能生成正确的修正,总体准确率高达 17.25%。

链接: https://dl.acm.org/doi/abs/10.1145/3524459.3527350

**·**Automated CVE Analysis for Threat Prioritization and Impact Prediction

**简介:**在这项研究中,我们介绍了新的预测模型和工具(称为CVEDrill),它彻底改变了CVE分析和威胁优先级。CVEDrill准确地估计CVSSvector,以实现精确的威胁缓解和优先级排序,并将cve无缝地自动分类到适当的CWE层次结构类中。通过利用CVEDrill,组织现在可以以无与伦比的准确性和及时性实施网络安全对策缓解,在该领域超越ChaptGPT等最先进工具的能力。

链接: https://arxiv.org/pdf/2309.03040.pdf

**·**Reverse-Engineering Decoding Strategies Given Blackbox Access to a Language Generation System

**简介:**在本文中,我们提出了对用于生成文本的解码方法进行逆向工程的方法(即top-k或核采样)。我们发现使用了哪种解码策略的能力对检测生成的文本具有重要意义。此外,发现解码策略的过程可以揭示由于选择解码设置而导致的偏差,这些设置严重截断了模型的预测分布。

链接: https://arxiv.org/pdf/2309.04858.pdf

**·**GenAIPABench: A Benchmark for Generative AI-based Privacy Assistants

**简介:**本研究介绍了genaipabach,这是一个新的基准测试框架,旨在评估基于生成人工智能的隐私助理(GenAIPAs)的性能。genaipbench包括:1)关于组织隐私政策和数据保护法规的全面问题集,以及针对多个组织和法规的注释答案;2)一套稳健的评估指标,用于评估生成响应的准确性、相关性和一致性;3)一个评估工具,生成适当的提示,将系统引入隐私文档和不同的隐私问题变体,以评估其稳健性。

链接: https://arxiv.org/pdf/2309.05138.pdf

**·**FuzzLLM: A Novel and Universal Fuzzing Framework for Proactively Discovering Jailbreak Vulnerabilities in Large Language Models

**简介:**虽然模型所有者可以通过安全培训策略抵御个别越狱提示,但这种相对被动的方法很难处理更广泛的类似越狱类别。为了解决这个问题,我们引入了FuzzLLM,这是一个自动模糊测试框架,旨在主动测试和发现llm中的越狱漏洞。

链接: https://arxiv.org/pdf/2309.05274.pdf

相关推荐
szxinmai主板定制专家16 分钟前
基于TI AM6442+FPGA解决方案,支持6网口,4路CAN,8个串口
arm开发·人工智能·fpga开发
龙湾开发36 分钟前
轻量级高性能推理引擎MNN 学习笔记 02.MNN主要API
人工智能·笔记·学习·机器学习·mnn
web4x42 分钟前
Web4X:站在Web4.0时代的起点,定义AI商业新生态
web3·aigc
CopyLower1 小时前
Java与AI技术结合:从机器学习到生成式AI的实践
java·人工智能·机器学习
workflower1 小时前
使用谱聚类将相似度矩阵分为2类
人工智能·深度学习·算法·机器学习·设计模式·软件工程·软件需求
jndingxin1 小时前
OpenCV CUDA 模块中在 GPU 上对图像或矩阵进行 翻转(镜像)操作的一个函数 flip()
人工智能·opencv
囚生CY1 小时前
【速写】TRL:Trainer的细节与思考(PPO/DPO+LoRA可行性)
人工智能
杨德兴1 小时前
3.3 阶数的作用
人工智能·学习
望获linux2 小时前
医疗实时操作系统方案:手术机器人的微秒级运动控制
人工智能·机器人·实时操作系统·rtos·嵌入式软件·医疗自动化
仓颉编程语言2 小时前
仓颉Magic亮相GOSIM AI Paris 2025:掀起开源AI框架新热潮
人工智能·华为·开源·鸿蒙·仓颉编程语言