作为最抢先的大模型，GPT-4 有自我纠正生成代码的才干，结合人类反应，自我纠正才干还能进一步的提高。

大型言语模型（LLM）已被证明能够从天然言语中生成代码片段，但在应对复杂的编码应战，如专业比赛和软件工程专业面试时，仍面对巨大的应战。最近的研讨企图经过运用自修正来提高模型编码功能。自修正是指让模型反思并纠正自己代码中的过错。

下图 1 显现了基于自修正办法的典型工作流程。首要，给定一个标准，从代码生成模型中对程序进行采样；然后在作为一部分标准供给的一套单元测验上履行程序；假如程序在任一单元测验中失利，则将过错音讯和过错程序供给给一个反应生成模型，该模型输出代码失利原因的简略解说；终究，反应被传递给修正模型，该模型生成程序的终究固化版本。

从表面上看，这是一个十分有吸引力的想法。这种规划能让体系战胜在解码过程中由离群样本引起的过错；在修正阶段，能够轻松地整合来自编译器、静态剖析东西和履行引擎等符号体系的反应，并模仿人类软件工程师编写代码的试错方式。

只有GPT-4可以自我改进，GPT-3.5都不行，MIT&微软代码生成实验新发现 机器之心

然而，自修正需求更多的模型调用，核算本钱较高。特别要留意的是，自修正能否见效，终究归结为在平等核算功能预算下，是否能从模型中抽取更多代码样本，并将其与作为一部分使命供给的单元测验套件进行比较。

至关重要的是，自修正的有用性不只取决于模型生成代码的才干（文献中对此进行了广泛研讨），还取决于它辨认代码（由模型自身生成）在使命标准方面是怎么犯错的才干。此前没有任何工作企图详细研讨这些才干的影响。

本文中，来自 MIT、微软研讨院的研讨者在解决比赛级别的代码生成使命时，运用 GPT-3.5 和 GPT-4 研讨自修正的有用性。研讨者首要提出一种新的评价战略，称为 pass@t，其中取得正确程序的可能性（相关于给定的单元测验）相关于从模型中采样的 token 总数进行加权。

运用新的评价战略替代传统的 pass@k 衡量（根据试验次数衡量经过率），研讨者能够精确地将经过自修正取得的功能与模型在生成反应和进行修正时所做的任何额外工作进行比较。研讨者细心探求了在一系列超参数下的动态自修正过程。

终究，鉴于研讨的主要方针是深化了解最先进的代码生成模型反思和调试自己代码的才干，本文进行了一组试验，单独研讨了改善反应阶段的影响。经过剖析运用比代码生成模型更强的反应生成模型（运用 GPT-4 为 GPT-3.5 代码模型生成反应）的影响，研讨者进行了一项研讨：让人类对不正确的程序供给反应，以便将模型生成的自反应与人类供给的自反应进行比较。

只有GPT-4可以自我改进，GPT-3.5都不行，MIT&微软代码生成实验新发现 机器之心

论文地址：arxiv.org/pdf/2306.09…

从本文的试验中，研讨者有了以下发现：

  1. 当考虑进行检查和修正的本钱时，自修正的功能收益只能用 GPT-4 来衡量；关于 GPT-3.5，在一切装备下，修正的经过率低于或等于基线模型 / 无修正办法的经过率。

  2. 即便关于 GPT-4，功能提高也是适度的（66%→ 71% 的经过率，预算为 7000 个 token，约 45 个独立同散布（i.i.d.）的 GPT-4 样本），并同时取决于初始程序是否具有满足的多样性。

  3. 用 GPT-4 发生的反应替代 GPT-3.5 对过错的解说，能够取得更好的自修正功能，甚至超过了基线的无修正 GPT-3.5 办法（50%→ 7000token 时为 54%）。

  4. 用人类的解说替代 GPT-4 自己的解说能够明显改善修正成果，从而使经过测验的修正程序数量添加 57%。

爱丁堡大学博士生符尧标明：「只要 GPT-4 能够自我改善，而较弱的模型不能，这一发现十分有趣，标明（大模型存在）一种新型的出现才干（即改善天然言语反应），可能只要在模型满足老练（大而规整）时才存在。大模型的这种才干在论文《Improving Language Model Negotiation with Self-Play and In-Context Learning from AI Feedback》中也存在过。

只要满足老练的模型才干清楚（listen to）并改善天然言语反应，较弱的模型要么无法理解反应，要么无法对其进行改善。

我倾向于相信这种出现才干（经过言语反应进行自我改善）会对 LLM 研讨发生十分重要的影响，因为这意味着 AI 能够在很少的人类监督下不断自主改善。」

只有GPT-4可以自我改进，GPT-3.5都不行，MIT&微软代码生成实验新发现 机器之心

办法

自修正概述

如上图 1 所示，自修正办法包括 4 个阶段：代码生成、代码履行、反应生成和代码修正。接下来正式定义这四个阶段。

代码生成

给定一个标准 ，程序模型 M_P 首要生成 n_p 个独立同散布样本，研讨者将其标明为

只有GPT-4可以自我改进，GPT-3.5都不行，MIT&微软代码生成实验新发现 机器之心

代码履行

然后在测验台上履行这 n_p 个代码样本。研讨者假定能够访问可履行形式的全套测验，因而假如任何样本经过了一切测验，体系就会停止，因为这时现已找到了一个令人满意的程序。不然，体系将搜集履行环境返回的过错音讯

只有GPT-4可以自我改进，GPT-3.5都不行，MIT&微软代码生成实验新发现 机器之心
。这些过错音讯要么包括编译 / 运行时过错信息，要么包括程序输出与预期输出不同的示例输入。示例如图 1（组件 3）所示。

反应生成

因为来自履行环境的过错音讯通常十分高档，因而它们供给的修正信号很少。作为中间过程，研讨者运用反应模型来更详细地解说出了什么问题；示例如图 1（组件 4）所示。形式上，在这个阶段，他们为每个过错的程序 p_i 生成 n_f 个反应字符串

只有GPT-4可以自我改进，GPT-3.5都不行，MIT&微软代码生成实验新发现 机器之心
，详细如下所示：

只有GPT-4可以自我改进，GPT-3.5都不行，MIT&微软代码生成实验新发现 机器之心

有了明确的反应生成过程，就能够消融这个组件，独立地研讨它的意义。

代码修正

在终究一步中，关于每个初始程序 p_i 和反应 f_ij，能够从

只有GPT-4可以自我改进，GPT-3.5都不行，MIT&微软代码生成实验新发现 机器之心
采样 n_r 个候选修正程序：

只有GPT-4可以自我改进，GPT-3.5都不行，MIT&微软代码生成实验新发现 机器之心

修正树。研讨者将该过程生成的包括文本和程序的树称为植根于标准中的 ，然后分支到初始程序 p_i，每个初始程序分支到反应 f_ij，然后对修正树 r_ijk 进行修正，如下图所示。

只有GPT-4可以自我改进，GPT-3.5都不行，MIT&微软代码生成实验新发现 机器之心

留意：联合采样反应和修正。上述通用框架不要求编程模型和反应模型相同，因而两个模型能够运用各自的专有模型。然而，当 M_P=M_F 时，研讨者在单个 API 调用中联合生成反应和修正的程序，因为 GPT-3.5 和 GPT-4 都有在响应中交错文本和代码的天然倾向。形式上，研讨者将其标明为

只有GPT-4可以自我改进，GPT-3.5都不行，MIT&微软代码生成实验新发现 机器之心

pass@t：经过率与 token 数量的联系

因为自修正需求几个非均匀本钱的依靠模型调用，因而 pass@k 这种在 k 个独立同散布样本中取得正确程序的可能性指标，不是用于比较和评价自修正的各种超参数挑选的合适衡量。相反，研讨者将经过率作为从模型中采样的 token 总数的函数，称之为 pass@t。

形式上，假定一个数据集 D={_d}_d 和超参数（M_P，M_F，n_p，n_f，n_r）的一组选定值。令

只有GPT-4可以自我改进，GPT-3.5都不行，MIT&微软代码生成实验新发现 机器之心
标明上文所述对使命 _d 进行采样的修正树；令 size（T^i_d）标明修正树中的程序和反应 token 的总数；并在当且仅当 T^i_d 至少有一个叶子节点程序满足标准中的单元测验 _d 时，令 T^i_d |=_d 为真。然后 pass@t 这种超参数挑选的衡量被定义为期望经过这种超参数挑选生成的 token 数量时预期经过率：

只有GPT-4可以自我改进，GPT-3.5都不行，MIT&微软代码生成实验新发现 机器之心

试验绘制了这两个量的 bootstrapped estimates（一种统计估量办法，通常用于评价参数估量的不确定性）。为了取得这些数值，本文首要为每个使命标准生成一个十分大的修正树，其中：有 N_p≥n_p 个初始程序样本；每个过错程序有 N_f≥n_f 个反应字符串；并且每个反应串有 N_r≥n_r 个修正候选。给定（n_p，n_f，n_r）的设置，然后从这个冻结的数据会集对 N_t 个不同的修正树进行子采样（带替换）。终究，本文核算了这 N_t 棵树上经过率和树巨细的样本均值和标准差。如此估量 pass@t 大大降低了试验的核算本钱，因为能够重用相同的初始数据集来核算 n_p、n_f 和 n_r 的一切不同挑选的估量。

本文一切试验中，N_p=50，自修正办法中 n_p≤25，基线无修正办法中 n_p≤50。类似地，关于反应，本文令 N_f=25 和 N_f≤10。关于候选修正，因为本文在大多数试验中对反应和修正进行联合采样，因而本文设置 N_r=n_r=1。终究，本文对一切设置运用 N_t=1000。

试验

研讨者针对以下问题进行了相关试验：

（a）在具有应战性的编程难题的布景下，关于本文提出的模型，自修正是否比不修正的独立同散布采样更好？假如是，在什么超参数下自修正最有用？

（b） 更强的反应模型会提高模型的修正功能吗？

（c） 即便是最强的模型，让人参与供给反应会带来更好的修正功能吗？

本文运用 APPS 数据集评价了这些关于 Python 编程应战的疑问。

自修正需求强大的模型和多样化的初始样本

令 M_P=M_F∈{GPT-3.5，GPT-4}，用于代码 / 修正生成和反应生成的是同一个模型。GPT-3.5 的成果见图 3，GPT-4 的成果见图 4。

只有GPT-4可以自我改进，GPT-3.5都不行，MIT&微软代码生成实验新发现 机器之心

只有GPT-4可以自我改进，GPT-3.5都不行，MIT&微软代码生成实验新发现 机器之心

从图中能够看出，关于 GPT-3.5 模型，pass@t 在一切的 n_p、n_fr 选值中，都低于或等于相应基线（黑线），这清楚地标明自修正不是 GPT-3.5 的有用战略。另一方面，关于 GPT-4，有几个 n_p、n_fr 值，其自修正的经过率明显优于基线的经过率。例如，当 n_p=10，n_fr=3 时，经过率从 65% 添加到 70%，当 n_p=25，n_fr=1 时，经过率从 65% 添加至 71%。

GPT-4 的反应改善了 GPT-3.5 自修正才干

接下来，本文进行了一个试验，在这个试验中，研讨者评价了运用一个单独的、更强的模型来生成反应的影响。这是为了查验一种假定：即模型无法内省和调试自己自身的代码，从而阻碍了自修正（尤其是 GPT-3.5）。

该试验的成果如图 5 所示（亮蓝线）。研讨者观察到，就肯定功能而言，M_P=GPT-3.5，M_F=GPT-4 的确突破了功能妨碍，变得比 GPT-3.5 的独立同散布采样效率略高。这标明反应阶段至关重要，改善它能够缓解 GPT-3.5 自修正的瓶颈。

只有GPT-4可以自我改进，GPT-3.5都不行，MIT&微软代码生成实验新发现 机器之心

人类反应明显提高了 GPT-4 自修正的成功率

在本文的终究一个试验中，研讨者考虑了在运用 GPT-4 等更强的模型进行修正时运用专业人类程序员的反应的效果。这项研讨的意图不是直接比较人在循环中的办法与自修正办法，因为人在循环办法会带来更多的认知担负，而本文没有对此进行研讨。相反，本文的方针是了解模型辨认代码中过错的才干与人类比较怎么，以及这怎么影响自修正的下游功能。因而，该研讨对人类反应对自修正的影响进行了定性和定量剖析。

成果总结在表 1 中。咱们首要留意到，当咱们用人类参与者的调试替代 GPT-4 自己的调试时，整体成功率提高了 1.57 倍以上。或许家常便饭的是，跟着问题变得越来越困难，相对差异也会添加，这标明当使命（和代码）变得更加复杂时，GPT-4 发生精确和有用反应的才干远远落后于咱们的人类参与者。

只有GPT-4可以自我改进，GPT-3.5都不行，MIT&微软代码生成实验新发现 机器之心

此外，该研讨还定性地剖析了人类参与者供给的反应与 GPT-4 供给的反应之间的差异。

  • 只要 2/80 个人奉献的反应字符串包括伪代码或显式 Python；也就是说，取得的简直一切人类反应都是天然言语，偶尔穿插着单句子数学 / 代码表达式。

  • GPT-4 的反应更可能明显不精确（32/80 与人类反应的 7/80）。

  • GPT-4 更可能明确地主张小的改变（54/80 对 42/80；28/48 对 38/73，当看起来正确时），而咱们的人类参与者显现出更大的趋势来主张高水平的改变（23/80 对 18/80，GPT-4；21/73 对 13/48，当看起来正确时）。

  • 人类参与者有时会表达不确定性（7/80）；GPT-4 没有（0/80）。

进一步的剖析标明，表 1 中的成果不是因为人为因素造成的，例如参与者供给了模型简略仿制的显式代码块。相反，功能的差异似乎是由更精确的反应、在需求时主张对代码进行高档别、大规模更改的更大才干，以及参与者表达其不确定性的才干（而不是自傲地给出潜在的不精确反应）一起造成的。