【代码大模型】Is Your Code Generated by ChatGPT Really Correct?论文阅读

Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation

key word: evaluation framework, LLM-synthesized code, benchmark

论文:https://arxiv.org/pdf/2305.01210.pdf

代码:https://github.com/evalplus/evalplus

【why】

现存的 LLM-for-code 的基准测试集的局限性:

(1)Insufficient testing

当前的编程基准程序通常只包含平均少于10个测试的每个编码问题。

此外,这些测试相对过于简单,无法充分发掘代码或角案例的功能。

(2)Imprecise problem description

代码生成的输入除了函数签名外,还包括自然语言。现有基准程序中的这些任务描述往往过于模糊,无法充分阐明预期的程序行为。

【what】
1.EvalPlus -- a code synthesis evaluation framework to rigorously benchmark the functional correctness of LLM-synthesized code

(1)Seed initialization via ChatGPT

ChatGPT作为一个自动生成引擎,生成少量但高质量种子

prompt 中包含的内容:

· 所要考察问题的真实解

· 一组作为示范的测试输入

· 激励ChatGPT提出输入的指令词
(2)Type-aware input mutation

inputs 的生成规则:

· 使用Chatgpt生成的种子初始化 seed pool 并引导 generation pipeline

· 每次从种子池中随机选择一个输入,将其突变为一个新的输入(即突变型)

· 在种子池中添加新的符合程序要求的输入,重复二三步
(3)Test-suite reduction

· code coverage

· mutant killings

· LLM sample killings
(4)Program input contracts

评估代码的最终目的是需要检查合成的代码是否符合期望的用户意图。

采用contracts编程思想,以断言的形式注释函数的前置条件。
2. Extend the test-cases of the popular HUMANEVAL benchmark by 80× to build HUMANEVAL+

【how】

评价指标:无偏版本的pass@k

1.结果

(1)在所有的LLMs,模型大小和k值中,使用HUMANEVAL +,几乎所有的pass @ k结果与使用基本HUMANEVAL相比一致下降。

(2)HUMANEVAL+更严格的评估可能会产生与HUMANEVAL不同或完全相反的相对结果。

(3) 在使用HUMANEVAL +前后,最佳temperature保持相当一致,说明具有稳健性。

(4) 精简后的测试集仅用47 ×的测试用例就可以达到与HUMANEVAL +几乎相同的pass @ 1⋆drop。

(5) HUMANEVAL和HUMANEVAL +之间的通过率差距表明,总体上HUMANEVAL +可以检测出HUMANEVAL错误识别的所有级别困难问题的解决方案。
2.实验细节:

(1)随机抽取200个programs,并且在 temperature{0.2, 0.4, 0.6, 0.8} 和greedy decoding with zero temperature 上重复实验

思考问题:

1.ChatGPT一般的输出包含很多无用词汇or符号,具有输出不稳定性,请问怎么保证每次输出稳定+正确的呢?

  1. temperature 是什么呢?

  2. 还是很迷惑,测试结果变差就代表本文提出的方法更好吗?

相关推荐
钟屿10 小时前
Multiscale Structure Guided Diffusion for Image Deblurring 论文阅读
论文阅读·图像处理·人工智能·深度学习·计算机视觉
张较瘦_12 小时前
[论文阅读] 人工智能 + 软件工程 | NoCode-bench:评估LLM无代码功能添加能力的新基准
论文阅读·人工智能·软件工程
一个处女座的程序猿1 天前
LLMs之Agent:ChatGPT Agent发布—统一代理系统将研究与行动无缝对接,开启智能助理新时代
chatgpt·agent
gptplusplus1 天前
停止“玩具式”试探:深入拆解ChatGPT Agent的技术栈与实战避坑指南
chatgpt
莫彩1 天前
【大模型论文阅读】2503.01821_On the Power of Context-Enhanced Learning in LLMs
论文阅读·人工智能·语言模型
WSSWWWSSW1 天前
基于模拟的流程为灵巧机器人定制训练数据
人工智能·chatgpt·机器人
王上上1 天前
【论文阅读51】-CNN-LSTM-安全系数和失效概率预测
论文阅读·cnn·lstm
有Li1 天前
弹性网:基于神经网络的多组分磁共振弹性成像波反演与不确定性量化|文献速递-医学影像算法文献分享
论文阅读·医学生
妙BOOK言2 天前
FalconFS: Distributed File System for Large-Scale Deep Learning Pipeline——论文阅读
论文阅读·元数据·分布式文件系统
2301_803652742 天前
PPO原论文阅读
论文阅读