GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。
Security Papers
- 通过大语言模型从协议实现中推断状态机
简介：状态机在提高协议分析效率和发现漏洞方面至关重要。然而，传统方法在分析网络协议实现时存在覆盖不足和处理复杂性困难的问题。研究人员提出了一种基于大语言模型（LLMs）的创新状态机推断方法，该方法通过文本嵌入技术分析协议代码，并利用提示工程识别状态机。评估结果显示，该方法的准确率超过90%，显著提高了代码覆盖率，为协议安全分析带来了新的突破。
链接：
https://arxiv.org/pdf/2405.00393
- HalluVault：一种新颖的逻辑编程辅助的变异测试框架，用于检测大语言模型中的事实冲突幻觉
简介：大语言模型（LLMs）在语言处理方面取得了重大突破，但仍面临安全性、隐私和生成不准确信息的问题，即幻觉。其中，事实冲突幻觉（FCH）尤为棘手，因为LLMs生成的内容可能与既定事实相矛盾。研究人员提出了一种基于逻辑编程的方法，通过变异测试来检测FCH。该方法从维基百科等来源收集数据，创建多样化测试用例，并使用语义评估机制验证LLMs的一致性。测试结果表明，幻觉率在24.7%到59.8%之间，这揭示了LLMs在处理时间概念、分布外知识和逻辑推理方面所面临的挑战。这强调了在社区内持续合作解决LLM幻觉问题的必要性。
链接：
https://arxiv.org/pdf/2405.00648
- 代码的LLM安全卫士
简介：许多开发者依赖大语言模型（LLMs）来促进软件开发。然而，这些模型在安全领域的表现能力有限。研究人员引入了LLMSecGuard，这是一个通过静态代码分析器与LLMs的协同作用来增强代码安全性的框架。LLMSecGuard是开源的，旨在为实践者提供比LLMs最初生成的代码更安全的解决方案。它还对LLMs进行基准测试，提供关于这些模型不断发展的安全特性的宝贵见解。
链接：
https://arxiv.org/pdf/2405.01103
- 利用RAG驱动的精确性克服LLM在咖啡叶病治理中的挑战
简介：本研究提出了一个利用YOLOv8和检索增强生成（RAG）技术的AI驱动精准农业系统，旨在解决影响卡纳塔克邦咖啡生产部门的疾病挑战。该系统结合目标检测技术和语言模型，克服了大语言模型（LLMs）固有的限制，同时解决了LLMs中的幻觉问题，并引入动态疾病识别与补救策略。通过实时监控、数据集扩展和组织合作，该系统适应不同的农业环境，旨在实现可持续和环保的农业，减少对农药的依赖，推动食品生产的可持续性和技术进步。
链接：
https://arxiv.org/pdf/2405.01310
- 关于大语言模型在自动化程序修复中的应用的系统文献综述
简介：自动化程序修复（APR）旨在通过大语言模型（LLMs）减少手动调试，从而提高软件开发和维护的效率。本研究首次系统性地回顾了2020至2024年间LLMs在APR中的应用，分析了127篇相关论文，总结了LLMs的部署策略、特定修复场景，并讨论了集成LLMs的关键问题。研究人员指出了未来研究的挑战和指导方针，为APR领域的研究者提供了全面的研究成果和未来研究方向。
链接：
https://arxiv.org/pdf/2405.01466
- 研究多轮LLM交互中的提示泄露效应和黑盒防御
简介：本文研究了大语言模型（LLMs）在多轮交互中的提示泄露问题及其缓解策略。通过对不同领域中闭源和开源LLMs的分析，发现多轮交互中的平均攻击成功率高达86.2%，某些模型如GPT-4和Claude-1.3的泄露率甚至达到99%。研究还发现，黑盒LLMs在不同领域的泄露易感性不同，例如Gemini在新闻领域比在医疗领域更容易泄露上下文知识。实验评估了六种黑盒防御策略，包括RAG场景中的查询重写器。尽管提出了多层防御组合，黑盒LLMs的攻击成功率仍为5.3%，显示LLM安全性研究还有提升空间。
链接：
https://arxiv.org/pdf/2404.16251
编辑：小椰风
