【本文是ChatGPT技能解析系列的3篇，后面会马不停蹄更新“算法”和“大模型练习”的内容，感兴趣的朋友能够继续重视～】

榜首篇：ChatGPT技能解析系列之：练习结构InstructGPT
第二篇：ChatGPT技能解析系列之：GPT1，GPT2与GPT3
第三篇：ChatGPT技能解析系列之：GPT写代码的才能从何而来

在之前的介绍中，咱们现已知道ChatGPT根本沿用了InstructGPT练习结构（见上图），不一样的当地在于：

• ChatGPT运用GPT3.5替代InstructGPT中的GPT3
• ChatGPT在练习数据集上做了更新，以便做指令微调（Instruction Tuning），也便是让模型更好了解人类意图。

这些模型间的联系见下图：

需求阐明的是，依据openAI官网介绍，GPT3.5是一个系列模型，也便是坚持根本练习结构不变，用不同的数据做指令微调，会得到不同的模型，这些模型都叫做GPT3.5。咱们为了简化，就不罗列不同版别间的迭代联系了。只需求记住中心一点：上述中的一切模型，都是以GPT3的模型架构为准，经过改换练习数据做指令微调，或引进RLHF（Reinformcement Learning from Human Feedback）得到的。

本文将要点重视图中的Codex，来介绍ChatGPT是如何具有编写代码的才能的。本文中介绍的是初代Codex，只具有编写Python的才能。后续的迭代版别中对练习数据做了改进，直至引进ChatGPT时，能编写多种语言代码，也具有更高的精确率。在这进程中，算法层面的规划思想，是根本坚持不变的。

本文涵盖的首要内容如下：

一、Codex全体规划

二、Codex评价办法

三、Codex的练习数据与练习办法

四、模型作用

五、总结和参考

一、Codex全体规划

（1）练习数据：从github上爬下小于1MB的python文件，去除掉那些或许是自动生成的、平均每行长度大于100的、最大行长度大于1000的、简直不含字母数字的。经过清洗处理后，终究得到159GB的练习集。

（2）预练习：将清洗过后的数据集送入GPT3架构的模型中，从头练习一个模型。注意这儿不再是依据GPT3做微调，也不再运用GPT3训好的权重。而是整个从头练习。终究得到一个12B参数量的模型Codex。

（3）有监督微调：为了解决练习数据和评价数据间的的gap（下文会细说），需求新的练习数据做微调。

格局上，这批数据需求满足：

• prompt + completion形式。prompt中包括函数签名(def部分)和函数注释，completion即代码的主体，是依据凝视要求写出的代码，也即监督练习的文本标签。
• 单元测（unit tests） 。用于测验代码是否精确。这也是代码文本和文字文本在评价方面的首要差异，下文会议开说。

来历上，这批数据来自：

• 算法竞赛或者面试网站。 Leetcode类型，相信咱们都不陌生，其间也涵盖了单元测。共收集1w条数据。
• Github repo中，运用travis和tox的那些脚本，由于这些脚本一般都用来做继续集成（Continuous Integration, CI） 。继续集成这个概念常见于敏捷开发中，也便是我先写好单元测验，布好虚拟环境。等你的代码一提交上来，我就对代码进行测验，确认它是否能无误合并到主分支上。这样的脚本里一般蕴含待测验的函数和单元测，十分契合微调数据需求。共收集4w条数据。

经过微调后，终究得到Codex-S

二、评价办法

2.1 评价数据集

传统的文本评价中，咱们选用BLEU分数，来比较模型产出的成果，和规范成果间的相似度。

但BLEU不适合做代码成果评价，由于代码正确与否，看得不是和规范答案间的相似程度，而是要看这段代码能否经过单元测，正确运转。

因而，Codex在评价时，结构了全新数据集HumanEval。它的组成为：

• 函数签名（function signature，即def部分）
• 函数注释（docstring）
• 函数主体
• 单元测

为了避免模型在练习时看到过相似题目，HumanEval中的全部数据都是人类亲自结构的。尽管不能保证算法题目具有创新性，可是全体表达，特别是注释表达上，是全新的。这套数据集一共有164个题目。

示例数据如下，白色部分是输入给模型的数据（prompt），黄色部分是等待模型给出的答案（completion）。

2.2 评价规范pass@k

在人类写代码的进程中，会经历一遍遍debug到终究写对的进程。因而，咱们也模拟这个办法，来评价模型产出的代码是否正确：

对同一个问题(prompt)，我让模型发生k个答案，只要有1个经过单元测，我就以为模型做对了这道题。

依据这一规范，咱们给出一个量化的评价方针pass@k：

pass@k:=Eproblems[1−Cn−ckCnk]pass@k := E_{problems}[1-\frac{C_{n-c}^{k}}{{C_{n}^{k}}}] pass@k:=Eproblems​[1−Cnk​Cn−ck​​]

其间：

• $n$：对同一个问题，让模型发生n个答案。在论文中，取n = 200

• $k$：从这n个答案中，随机抽出k个。在论文中，取 k<=n

• $c$：模型发生的n个答案里，经过单元测的答案有c个。

• Cn−ckCnk\frac{C_{n-c}^{k}}{{C_{n}^{k}}} Cnk​Cn−ck​​：从模型发生的k个答案里抽取k个，这k个答案全部过错的概率。

• $pass@k$：整合起来，这个方针表明，从模型的答案中随机抽取k个后，能从这k个里得到正确答案的概率。

或许有人会问，你这怎么又n又k的，这么费事呢。不如对同一个问题，都让模型直接生成k个答案，去里面找有没有正确的就行了。何必又从n里抽k呢？

这样做的原因是，当k越大时，模型更有或许产出正确的答案。因而研讨时，也要考虑k对评价方针的影响。为了方便，干脆让模型对同一个问题，一次性生成n个答案，咱们再从中评价不同k值大小的影响就行。

$pass@k$在工程核算时，又会发生新的问题：Cn−ckCnk\frac{C_{n-c}^{k}}{{C_{n}^{k}}} Cnk​Cn−ck​​这一项在打开核算时，涉及到屡次阶级核算，数字会十分大，引起精度上的不稳定。因而在实际写代码时，咱们需求对这项化简，尽量削减阶级运算次数，化简进程如下：

1−Cn−ckCnk=1−(n−c)!k!(n−c−k)!∗k!(n−k)!n!=1−(n−c)!n!∗(n−k)!(n−c−k)!=1−∏i=n−c+1n1i∏i=n−c−k+1n−ki=1−∏i=n−c+1n1i∏i=n−c+1n(i−k)=1−∏i=n−c+1ni−ki=1−∏i=n−c+1n(1−ki)\begin{aligned} 1-\frac{C_{n-c}^{k}}{{C_{n}^{k}}} &= 1-\frac{(n-c)!}{k!(n-c-k)!} * \frac{k!(n-k)!}{n!} \\ & = 1- \frac{(n-c)!}{n!} * \frac{(n-k)!}{(n-c-k)!}\\ & = 1-\prod_{i=n-c+1}^{n}\frac{1}{i}\prod_{i=n-c-k+1}^{n-k}i \\ & = 1-\prod_{i=n-c+1}^{n}\frac{1}{i}\prod_{i=n-c+1}^{n}(i-k) \\ & = 1-\prod_{i=n-c+1}^{n}\frac{i-k}{i}\\ & = 1 – \prod_{i=n-c+1}^{n}(1-\frac{k}{i}) \end{aligned} 1−Cnk​Cn−ck​​​=1−k!(n−c−k)!(n−c)!​∗n!k!(n−k)!​=1−n!(n−c)!​∗(n−c−k)!(n−k)!​=1−i=n−c+1∏n​i1​i=n−c−k+1∏n−k​i=1−i=n−c+1∏n​i1​i=n−c+1∏n​(i−k)=1−i=n−c+1∏n​ii−k​=1−i=n−c+1∏n​(1−ik​)​

写成numpy代码便是：

2.3 评价阶段的模型输出

（1）中止条件

评价阶段，咱们不能让模型一直无条件地生成代码，有必要给定一个中止标志。当模型遇到’\nclass’，’\ndef’，’\n#’，’\nif’，’\nprint’时，中止输出。这儿碰到’\nif’中止，首要原因或许是HumanEval数据集里，一切的if…elif…else的条件都放在一行进行表述。’\nclass’和’\ndef’则表明敞开了一个新类/办法。遇到’\nprint’中止则是避免开端发生废话。

（2）输出采样

咱们会发现一个现象：给GPT类的模型输入同一个问题，得到的答案或许是不相同的。由于GPT往往经过采样的办法，决定token的产出成果，而不是固定取softmax算出的最大概率token。在文字文本里，能够经过Beam Search等办法做到概率采样，而Codex中运用的是一种叫Nucleus Sampling的办法，详细进程是：

• 在每一个timestep，把词的概率从大到小摆放
• 从概率最大的词开端，依次取词，直到取出词的概率总和>=0.95停止
• 在取出的词中，按概率进行采样，得到终究的该timestep上的词。

Nucleus Sampling的优点在于：

• 尽量让生成的成果具有多样性。即每次取概率最大的词，在代码层面上并不能保证终究成果是最优的。
• 排除掉那些特别不靠谱的词。（定>=0.95这一原则的原因。）

三、练习数据与练习办法

3.1 练习数据

在2.1中，咱们介绍过练习数据，这儿咱们额外提一下本文是code时的token表明办法。

在代码中，会呈现换行、缩进、空格、冒号等含有特别代码意义的表达办法，这些与它们在文字文本中的含义不相同。因而在练习Codex时，用了特别的token embedding来表明这些符号。下图显示了一段代码在GPT3与Codex的token embedding下的表达办法。每行顶用的不同色彩别离表明不同token，感兴趣的朋友能够在platform.openai.com/tokenizer中自…

3.2 预练习模型

前文说过，Codex模型是依据GPT3的。

最开端，Codex试过直接在GPT3上fine-tune，可是发现作用并好不好。因而才确认了用GPT3的结构重train的方案，练习参数如下：

• Learning rate：和GPT3一样，选用warmup的办法，175 step linear warmup + cosine learning rate
• tokens：100B
• Adam optimizer,，1=0.9,2=0.95,=10−8,weightdecaycoefficient=0.1\beta_{1}=0.9,\beta_{2}=0.95,\epsilon=10^{-8},weightdecaycoefficient=0.1 1​=0.9,2​=0.95,=10−8,weightdecaycoefficient=0.1

3.3 有监督的微调

到这一步，咱们知道关于Codex：

• 练习数据，是从github上爬下来的python代码。
• 测验数据，按照“函数签名 + 函数注释 + 代码本体”结构的。

练习数据和测验数据的形式上有显著差异，而且咱们终究的方针是，期望模型能够依据咱们的指令来写代码（相似于依据注释写代码）。因而，咱们需求引进和测验数据相似结构的数据，做有监督的微调。在榜首部分里已介绍过用于微调的数据，这儿咱们就不赘述了。

四、模型作用

4.1 GPT3 VS Codex VS Codex-S

横轴表明模型的参数量，纵轴表明模型发生的代码的精确率。

• GPT3 pass@1：原始GPT3模型，能够发现它的精确率为0
• Codex pass@1：只经过预练习，在12B参数的情况下，模型精确率为28.8%
• Codex-S pass@1：预练习+fine-tune，在12B参数的情况下，模型精确率为37.7%
• Codex-S mean logp reranking：答应模型生成100个答案，并经过核算最大mean logP的办法，选出1个答案，模型精确率为44.5%。
• Codex-S oracle reranking：答应模型生成100个答案，并经过单元测的办法，选出1个最佳答案，模型精确率为77.5%。

尽管咱们不或许要求每次都以单元测的办法来给出最佳答案，但从logP的办法上，已能阐明当前的模型能够解决44.5%的代码问题。而且跟着模型参数量的添加，精确率依然有上升的趋势。即如果切换到一个更大的模型上时，还能体现得更好。这便是再后面的工作了。

五、总结

1、ChatGPT具有写代码的才能这件事，能够追溯到Codex。Codex的练习方针是，给定文字描绘，模型生成契合描绘的代码。

2、Codex是在GPT3的结构上，选用预练习+有监督微调的办法，从头train出来的新模型。

预练习阶段的练习数据为github上爬下的python文件。微调阶段的数据则是算法题+github上继续集成脚本中的函数，以及这两者的单元测。

3、代码不同于文本，不能只用相似度衡量。因而传统的BLEU评分对Codex评价不再适用，转而运用pass@k。

4、跟着模型增大，练习数据添加，Codex依然有提升空间。

附注：本文正在参与 人工智能创作者扶持方案

参考

1、arxiv.org/abs/2107.03…

2、platform.openai.com/tokenizer

3、openai.com/blog/chatgp…

4、platform.openai.com/docs/model-…