[论文阅读] 人工智能+软件工程 | MemFL：给大模型装上“项目记忆”，让软件故障定位又快又准

【论文解读】MemFL：给大模型装上"项目记忆"，让软件故障定位又快又准

论文信息

arXiv:2506.03585

Improving LLM-Based Fault Localization with External Memory and Project Context Inseok Yeo, Duksan Ryu, Jongmoon Baik

Subjects: Software Engineering (cs.SE)

一、研究背景：当通用工具遇到复杂项目

想象你是一名修理工，面对一辆自行车故障和一辆汽车故障，所需的知识和工具肯定不同。软件故障定位也是如此：

• 传统方法的困境 ：

  早期的"频谱法"（SBFL）像通过统计零件使用频率找问题，"变异法"（MBFL）像逐个修改零件看影响，都需要大量测试数据，修复杂项目就像用扳手修手表，效率低下。

  后来的"机器学习法"（LBFL）虽然聪明，但需要大量标注好的"故障数据集"，就像学修车必须先看遍所有车型故障手册，现实中很难做到。

• 大模型的新挑战 ：

  近年大火的大语言模型（LLM），比如GPT，不用大量数据就能分析代码找故障，看似万能。但问题来了：

  • 它缺乏"项目专属知识"：比如某个项目特有的调试模式、类功能描述，就像修理工没看过某款车的说明书，修起来全靠通用经验。
  • 复杂项目直接抓瞎：比如在Defects4J基准测试中，传统LLM方法在复杂项目Closure上准确率暴跌，而人类开发者却能通过项目背景快速定位。

核心问题：如何让LLM快速"理解"具体项目的独特逻辑，避免每次都从头分析？

二、主要贡献：给LLM一个"项目记忆小本本"

这篇论文的核心成果，是让LLM拥有了"定制化记忆"，专治"项目知识不足"的痛点：

1. 准确率提升：在Defects4J基准测试中，MemFL用GPT-4o-mini模型比传统LLM方法多找到12.7%的故障方法，复杂项目Closure上更是多定位27.6%。
2. 效率翻倍：执行时间仅为传统方法的21%-24%，成本低至3.9%-33%，相当于用更少的"算力电费"办更多的事。
3. 通用适配：不依赖特定模型，用最新的GPT-4.1-mini模型时，准确率比所有基线方法高24.4%，证明这招对不同LLM都有效。

三、创新点：像学生复习一样分阶段记忆

MemFL的独特之处，在于给LLM设计了"双轨记忆系统"，灵感类似学生复习：

• 静态内存（课本知识） ：
  提前整理好项目的"基础资料"，包括项目整体目标、每个类的功能简介。就像考试前背熟的公式定理，让LLM一开始就知道"这个项目是做什么的，各个模块负责什么"。
• 动态内存（错题本） ：
  在调试过程中，LLM会把每次成功或失败的经验记录下来，比如"某个错误信息通常和哪些类相关"。就像错题本里总结的"这类题型要注意XX点"，越用越聪明。
• 三步极简流程 ：
  把复杂的调试拆成"看报告→缩范围→定故障"三步骤，避免传统方法的多代理复杂协作，就像医生看病先看检查报告，再缩小科室范围，最后精准诊断。

四、核心方法：三步定位法+双内存系统

（一）外部内存怎么建？

1. 静态内存：项目说明书

   • 用LLM自动生成项目摘要（如"这个项目是做图表生成的，核心类包括ChartRenderer、DataParser"）和类功能表（如"ChartRenderer负责渲染图表，参数是数据和样式"）。
   • 就像提前为每个项目准备一本"快速指南"，LLM不用从头读代码就能抓住重点。

2. 动态内存：调试经验库

   • 第一次调试时，先用静态内存分析，然后对比结果和实际故障，总结出"调试指南"（如"当错误信息包含'AST比较失败'时，优先检查Parser类"）。
   • 后续调试中不断迭代优化这些指南，就像游戏里的"攻略升级"，越打越顺手。

（二）MemFL三步流程详解

1. 第一步：故障报告解读（Bug Review Generation）

   • 给LLM输入错误信息、测试代码和静态内存，让它生成"故障诊断报告"，比如"测试失败是因为数据解析时格式错误，可能和DataParser类有关"。
   • 类比：医生看CT报告，先判断"问题可能出在消化系统"。

2. 第二步：代码范围缩小（Code Condensation）

   • 分阶段过滤无关代码：
     • 先根据类覆盖率排除无关类（比如"只有20%的测试用例用到的类暂时不看"）。
     • 再用动态内存里的经验，比如"之前类似故障出现在Parser类，优先检查这个类的方法"。
   • 类比：护士根据医生判断，先排除"骨科"，重点查"消化科"相关设备。

3. 第三步：精准定位故障（Fault Confirmation）

   • 对剩下的可疑方法，结合动态内存中的调试策略（如"检查该方法的参数校验逻辑"），生成按可疑度排序的列表。
   • 类比：医生用精密仪器对重点器官做详细检查，确定病灶位置。

五、总结：让LLM从"通用维修工"变"项目专家"

这篇论文的核心思路，是通过"外部内存"让LLM快速获取项目专属知识，把"通用型选手"变成"项目专家"。就像给外卖骑手一本"小区地图手册"+"客户偏好笔记"，既能少走弯路，又能精准送达。

实验数据显示，MemFL在保持低成本的同时，显著提升了复杂项目的故障定位能力，为AI辅助软件开发（尤其是调试环节）提供了新方向。未来或许可以扩展到代码修复、漏洞检测等领域，让大模型更懂"项目的语言"。