萧箫 发自 凹非寺 量子位 | 大众号 QbitAI
用ChatGPT写代码，已经是不少程序员的惯例操作了。
△“至少提速3~5倍”
但你有没有想过，ChatGPT生成的代码，有不少只是“看起来精确”而已？
来自伊利诺伊大学香槟分校和南京大学的一项最新研讨标明：
ChatGPT和GPT-4生成代码的精确率，比之前评价的至少要下降13% ！
有网友感叹，太多ML论文都在用一些有问题或有局限性的基准来评价模型，来短暂地到达“SOTA”，成果换个测评办法就现出原形了。
还有网友表示，这也说明大模型生成的代码仍然需求人工监督，“AI写代码的黄金时间还没到呢”。
所以，论文提出了一种怎样的新测评办法？
给AI代码考题加大难度
这个新办法名叫EvalPlus，是一个自动化代码评价结构。
具体来说，它会经过改善现有评价数据集的输入多样性和问题描绘精确性，来将这些评价基准变得更严厉。
一方面是输入多样性。EvalPlus会先依据标准答案，用ChatGPT生成一些种子输入样例（尽管要测ChatGPT的编程才能，但用它生成种子输入好像也不矛盾doge）
随后，用EvalPlus改善这些种子输入，将它们改得更难、更杂乱、更刁钻。
另一方面是问题描绘精确性。EvalPlus会将代码需求描绘改得更精确，在束缚输入条件的一同，补充自然语言问题描绘，以进步对模型输出的精确度要求。
这儿，论文挑选了HUMANEVAL数据集作为演示。
HUMANEVAL是OpenAI和Anthropic AI一同制作的代码数据集，包括164个原创编程题，触及语言了解、算法、数学和软件面试几种类型的标题。
EvalPlus会经过改善这类数据集的输入类型和功用描绘，让编程问题看起来更清晰，一同用于测验的输入更“刁钻”或是更困难。
以其间的一道求并集编程题为例，要求AI写一段代码，找出两个数据列表中的共同元素，并给这些元素排序。
EvalPlus用它来测测ChatGPT写的代码精确度。
首先用几个简单输入进行测验，发现ChatGPT能输出正确答案。但如果换个输入，就找出了ChatGPT版代码的bug：
属实是给AI们加大了考题难度。
根据这套办法，EvalPlus还做了一个改善版HUMANEVAL+数据集，增加输入的一同，修正了一些HUMANEVAL里边答案就有问题的编程题。
那么，在这套“新考题”下，大语言模型们的精确率实际上要打几折？
LLM代码精确率平均下降15%
作者们测验了当前比较受欢迎的10种代码生成AI。
GPT-4、ChatGPT、CODEGEN、VICUNA、SANTACODER、INCODER、GPT-J、GPT-NEO、PolyCoder、StableLM-。
从表格中来看，经过严厉测验后，这群AI的生成精确率都有所下降：
这儿会经过一种名叫pass@k的办法评价精确率，其间k是允许大模型给问题生成的程序数量，n是用于测验的输入数量，c是正确的输入数量：
依据新的这套评价标准，大模型们的精确率平均下降了15% ，其间比较广泛研讨的CODEGEN-16B更是下降了超过18% 。
至于ChatGPT和GPT-4生成代码的性能，也下降了至少13%。
不过，也有网友表示，大模型生成的代码效果没那么好，已经是“众所周知的现实”了，需求研讨的是“为什么大模型写的代码不能用”。
作者介绍
共同一作Jiawei Liu，伊利诺伊大学香槟分校二年级博士生，研讨爱好是编程体系和深度学习。
共同一作Chunqiu Steven Xia，伊利诺伊大学香槟分校二年级博士生，本科毕业于多伦多大学，研讨爱好是机器学习和软件工程的穿插范畴。
王宇峣（Yuyao Wang），南京大学计算机科学大三学生，研讨爱好是计算机体系的精确性、可编程性和性能。
Lingming Zhang，伊利诺伊大学香槟分校副教授，研讨方向是软件工程及其与机器学习、编程语言和形式化办法（Formal Methods）的协同作用。
论文地址：
arxiv.org/abs/2305.01…
代码地址：
github.com/evalplus/ev…
—完—
