GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。
1. Security Papers
· Neural Code Completion Tools Can Memorize Hard-coded Credentials
**简介：**神经代码补全工具（NCCT）已经改变了软件开发领域，它们利用语言建模技术准确地提供上下文相关的代码片段，从而受益。然而，语言模型在推理过程中可能会根据适当的提示逐字地发出这种记忆特性引发了关于商业 NCCTs 的隐私担忧，涉及硬编码凭证泄露，导致默认授权访问系统。因此，为了回答 NCCTs 是否会不经意地发放硬编码凭证，我们提出了一种称为硬编码凭证揭示器（HCR）的评估工具。HCR有效地从GitHub代码文件中构建测试提示，以触发商业NCCT的记忆现象。
链接：https://arxiv.org/pdf/2309.07639.pdf
· Efficient Avoidance of Vulnerabilities in Auto-completed Smart Contract Code Using Vulnerability-constrained Decoding
**简介：**研究表明，虽然自动完成代码能够使开发人员显著加快编码速度。但是，许多这样的合成代码都存在漏洞。因此，我们提出了一种新的漏洞约束解码方法来减少这些模型产生漏洞代码的数量。
链接：https://arxiv.org/pdf/2309.09826.pdf
· GPTFUZZER: Red Teaming Large Language Models with Auto-Generated Jailbreak Prompts
**简介：**本文介绍了一种受AFL模糊框架启发的新型黑盒越狱模糊框架GPTFUZZER。GPTFUZZER的核心是将人类编写的模板作为初始种子，然后对其进行变异以产生新的模板。我们详细介绍了GPTFUZZER的三个关键组成部分:用于平衡效率和可变性的种子选择策略，用于创建语义等效或相似句子的突变算子，以及评估越狱攻击成功的判断模型。
链接：https://arxiv.org/pdf/2309.10253.pdf
· Cupid: Leveraging ChatGPT for More Accurate Duplicate Bug Report Detection
**简介：**在本文中，我们提出了一种称为 Cupid 的方法，它将性能最佳的传统 DBRD 方法 REP 与最先进的大型语言模型 ChatGPT 相结合。具体来说，我们首先在零样本设置下利用ChatGPT来获取有关错误报告的基本信息。然后，我们使用基本信息作为 REP 的输入来检测重复的错误报告。我们通过将 Cupid 与三个数据集上的三种现有方法进行比较来进行评估。实验结果表明，Cupid 取得了新的最先进结果，在所有分析的数据集中达到了 0.59 到 0.67 的召回率@10 分数。特别是，Cupid 在数据集中的召回率@10 方面比之前最先进的方法提高了 6.7% - 8.7%。Cupid 还超过了最先进的基于深度学习的 DBRD 方法高达 79.2%。
链接：https://arxiv.org/pdf/2308.10022v2.pdf
· HackMentor: Fine-Tuning Large Language Models for Cybersecurity
**简介：**本文面向网络安全领域微调开源大语言模型，得到行业大模型HackMentor。研究工作主要分为三个部分：网络安全行业微调数据的构建、大语言模型的微调和对LLMs网络安全能力的评估。实验结果显示，HackMentor在网络安全指令遵循方面比原生LLM提高了10-25%；在聊天能力方面，HackMentor回复质量与ChatGPT相当，但相比于ChatGPT的冗长回复更加精简，符合人类对话习惯。