修改：LRS
【新智元导读】 缺数据不是问题，直接用GPT-4生成的指令就够了，标示员恐怕要赋闲了！
「指令」（Instruction）是ChatGPT模型获得突破性发展的要害因素，能够让言语模型的输出更符合「人类的偏好」。
但指令的标示工作需求消耗很多的人力，即使有了开源的言语模型，资金不足的学术组织、小公司也很难练习出自己ChatGPT.
最近微软的研讨人员运用之前提出的Self-Instruct技术，首次尝试运用GPT-4模型来主动生成言语模型所需的微调指令数据。
论文链接：arxiv.org/pdf/2304.03…
代码链接：github.com/Instruction…
在根据Meta开源的LLaMA模型上的试验成果标明，由 GPT-4生成的5.2万条英语和汉语instruction-following数据在新使命中的体现优于曾经最先进的模型生成的指令数据，研讨人员还从GPT-4中搜集反应和比较数据，以便进行全面的点评和奖赏模式练习。
练习数据
数据搜集
研讨人员重用了斯坦福大学发布的Alpaca模型用到的5.2万条指令，其间每条指令都描绘了模型应该执行的使命，并遵从与Alpaca相同的prompting策略，同时考虑有输入和无输入的情况，作为使命的可选上下文或输入；运用大型言语模型对指令输出答案。
在Alpaca 数据集中，输出是运用GPT-3.5（text-davinci-003）生成的，但在这篇论文中，研讨人员挑选运用GPT-4来生成数据，详细包括以下四个数据集：
-
英文Instruction-Following Data：关于在Alpaca中搜集的5.2万条指令，为每一条指令都供给一个英文GPT-4答案。
未来的工作为遵从迭代的进程，运用GPT-4和self-instruct构建一个全新的数据集。
-
中文Instruction-Following Data：运用ChatGPT将5.2万条指令翻译成中文，并要求GPT-4用中文答复这些指令，并以此建立一个根据LLaMA的中文instruction-following模型，并研讨指令调优的跨言语泛化才能。
-
比照数据（Comparison Data）：要求GPT-4对自己的回复供给从1到10的评分，并对GPT-4, GPT-3.5和OPT-IML这三个模型的回复进行评分，以练习奖赏模型。
-
非自然指令的答案：GPT-4的答案是在6.8万条（指令，输入，输出）三元组的数据集上解码的，运用该子集来量化GPT-4和指令调优后的模型在规模上的距离。
数据统计
研讨人员比照了GPT-4和GPT-3.5的英语输出回复集合：关于每个输出，都提取了根动词（root verb）和直接宾语名词（direct-object noun），在每个输出集上计算了共同的动词-名词对的频率。
频率高于10的动词-名词对
输出序列长度的频率散布比照
能够看到，GPT-4倾向于生成比GPT-3.5更长的序列，Alpaca中GPT-3.5数据的长尾现象比GPT-4的输出散布更显着，或许是因为Alpaca数据集涉及到一个迭代的数据搜集进程，在每次迭代中去除相似的指令实例，在现在的一次性数据生成中是没有的。
虽然这个进程很简单，但GPT-4生成的instruction-following数据体现出更强壮的对齐功能。
指令调优言语模型
Self-Instruct 调优
研讨人员根据LLaMA 7B checkpoint有监督微调后练习得到了两个模型：LLaMA-GPT4是在GPT-4生成的5.2万条英文instruction-following数据上练习的；LLaMA-GPT4-CN是在GPT-4的5.2万条中文instruction-following数据上练习的。
两个模型被用来研讨GPT-4的数据质量以及在一种言语中进行指令调优的LLMs时的跨言语泛化特性。
奖赏模型
从人类反应中进行强化学习（Reinforcement Learning from Human Feedback，RLHF）旨在使LLM行为与人类的偏好相共同，以使言语模型的输出对人类更加有用。
RLHF的一个要害组成部分是奖赏建模，其问题能够被表述为一个回归使命，以猜测给定提示和回复的奖赏评分，该方法一般需求大规模的比较数据，即对同一提示的两个模型反应进行比较。
现有的开源模型，如Alpaca、Vicuna和Dolly，因为标示比照数据的成本很高，所以没有用到RLHF，而且最近的研讨标明，GPT-4能够辨认和修正自己的错误，并精确判别回复的质量。
为了促进对RLHF的研讨，研讨人员运用GPT-4创建了比照数据；为了点评数据质量，研讨人员练习一个根据OPT 1.3B的奖赏模型，以对不同的回复进行评分：对一个提示和K个回复，GPT-4为每个回复供给一个1到10之间的评分。
试验成果
在 GPT-4数据上点评曾经从未见过的使命的self-instruct调优模型的功能仍然是一项困难的使命。
因为首要目标是点评模型理解和恪守各种使命指示的才能，为了实现这一点，研讨人员运用三种类型的点评，并经过研讨成果证明，「运用 GPT-4生成数据」比较其他机器主动生成的数据来说是一种有用的大型言语模型指令调优方法。
人类点评
为了点评该指令调优后的大型言语模型对齐质量，研讨人员遵从之前提出的对齐规范：如果一个帮手是有协助的、诚实的和无害的（HHH），那它就是与人类点评规范对齐的，这些规范也被广泛用于点评人工智能系统与人类价值观的共同性程度。
协助性（helpfulness）：是否能协助人类实现他们的目标，一个能够精确答复问题的模型是有协助的。
诚实性（honesty）：是否供给真实信息，并在必要时表达其不确定性以防止误导人类用户，一个供给虚伪信息的模型是不诚实的。
无害性（harmlessness）：是否不会对人类造成损伤，一个发生仇恨言论或发起暴力的模型不是无害的。
根据HHH对齐规范，研讨人员运用众包平台Amazon Mechanical Turk对模型生成成果进行人工点评。
文中提出的两个模型分别在GPT-4和GPT-3生成的数据上进行了微调，能够看到LLaMA-GPT4以51.2%的占比在协助性上要大大优于在GPT-3上微调的Alpaca（19.74%），而在诚实性和 无害性规范下，则根本处于平局状态，GPT-3要略胜一筹。
在和原版GPT-4比照时，能够发现二者在三个规范上也是适当共同的，即GPT-4指令调优后的LLaMA体现与原始的GPT-4相似。
GPT-4主动点评
受 Vicuna 的启发，研讨人员也挑选用GPT-4来点评不同谈天机器人模型对80个未见过的问题所生成答复的质量，从 LLaMA-GPT-4(7B)和 GPT-4模型中搜集回复，并从曾经的研讨中获得其他模型的答案，然后要求GPT-4对两个模型之间的回复质量进行评分，评分范围从1到10，并将成果与其他强竞赛模型(ChatGPT 和 GPT-4)进行比较。
点评成果显现，反应数据和奖赏模型对提高 LLaMA 的功能是有用的；用GPT-4对LLaMA进行指令调优，往往比用text-davinci-003调优（即Alpaca）和不调优（即LLaMA）的功能更高；7B LLaMA GPT4的功能超过了13B Alpaca和LLaMA，但和GPT-4等大型商业谈天机器人比较，仍有距离。
进一步研讨中文谈天机器人的功能时，首要运用GPT-4将谈天机器人的问题也从英文翻译成中文，用GPT-4获得答案，能够得到两个风趣的调查成果：
-
能够发现GPT-4点评的相对分数目标是适当共同的，无论是在不同的对手模型（即ChatGPT或GPT-4）和言语（即英语或中文）方面。
2.仅就GPT-4的成果而言，翻译后的回复比中文生成的回复体现得更好，或许是因为GPT-4是在比中文更丰富的英文语料库中练习的，所以具有更强的英文instruction-following才能。
非自然指令点评（Unnatural Instruction Evaluation）
从平均ROUGE-L得分来看，Alpaca优于LLaMA-GPT 4和GPT-4，能够注意到，LLaMA-GPT4和GPT4在ground truth回复长度添加时逐步体现得更好，终究在长度超过4时体现出更高的功能，意味着当场景更具创造性时，能够更好地遵从指令。
在不同的子集中，LLaMA-GPT4跟GPT-4的行为相差无几；当序列长度较短时，LLaMA-GPT4和GPT-4都能生成包括简单的根本现实答案的回复，但会添加额定的词语，使回复更像谈天，或许会导致ROUGE-L得分降低。
参考资料：arxiv.org/pdf/2304.03…
