本文正在参加「技能视角深入 ChatGPT」征文活动
ChatGPT是由OpenAI开发的大型言语模型，能够协助咱们处理很多日常日子中的工作，如更改过错、写小说、答复问题、翻译、写文案等。
GPT 的演进
GPT一共有三代，即GPT-1，GPT-2，GPT-3，现在十分火的ChatGPT是GPT-3.5。GPT-1诞生于2018年6月，比BERT略早几个月，层数为12层，词向量长度为768，练习参数量为1.17亿个，数据量为5GB；时隔半年之后，GPT-2诞生于2019年2月，练习参数量为15亿个，数据量为40GB；GPT-3诞生于2020年5月，练习参数量增长超过100倍至1750亿个，数据量到达45TB。
GPT-1以Transformer 为中心结构，是自左向右单向的。GPT-2提出了“所有的有监督学习都是无监督言语模型的一个子集”的思想，即它是一个无监督模型，中心所有的进程都是通过无监督去完结的。对比GPT-2，GPT-3的模型结构上没有做任何的改动，它使用了超大的数据和参数量，真实诠释了什么叫“暴力出奇观”。GPT系列虽然都取得了不错的成果，但一直会存在一个问题，即怎样样让它无害，它会生产出一些假的新闻，造成不好的社会影响。
GPT-1
自然言语里边有很多未标示数据，标好的数据比较少。GPT-1面对的问题是在没有标示的当地学习一个言语模型，在标好的数据上练习一个小模型。在做无监督的时分，咱们会遇到两个最大的问题，一是不知道目标函数是什么，二是怎样传递到下一个子使命。
GPT-1采用的是传统言语模型的方法，k是窗口的巨细，窗口越大就代表整个使命会更难。
将这些猜测的概率向量和它的位置编码进行结合，就能够得到h0，h0通过transform解码器去进行解码，终究就得到它的编码，最终会接上一个微调模型。
这是GPT-1里边的使用，首要包含分类、包含、相似和多选，每一类使命都有一个符号，告知这是使命的开端阶段、中心阶段还是完毕阶段，假如是分类使命就在开端和完毕阶段中心抽取一个text，开端和完毕符号必定是特殊符号，最好不要在这些文本傍边呈现，最终咱们再接一个Linear的分类器。二是包含，即B是否能够支撑A，举个例子，小王和小李是好朋友，假如后面一句话是小王送给小李一个馒头，那么它的成果或许是正确的，这句话能证明他们是好朋友。假如是小王今天正午吃了一个馒头，这并不能证明小王和小李是好朋友。三是相似度的练习，相似头条的去重能够用到这样的算法。四是多选，即有A、B、C三个挑选，应该去挑选哪一个。当然整个的效果是不如BERT的，从技能难度上来说，BERT会更简略，而且GPT-1用的数据本身没有BERT那么大。
GPT-2
GPT-2模型来自论文《Language Models are Unsupervised Multitask Learners》，它希望通过zero-shot有所创新，即关于下游使命，不需要标示信息，在任何当地都能用。这儿不能引进之前模型没见过的符号，提示符看上去更像一句话，这也是ChatGPT开始的一个版别，冒号前面告知它你要做什么工作，如在英语到法语的翻译使命中，给模型一个英语和法语。或许告知模型去答复一个问题，这个问题是什么，它会告知你答案是什么。作者在阅览了解、翻译、总结和答复问题上进行试验，能够发现GPT-2在阅览了解和答复问题上效果会更好一些，一起当它的数据量越大，模型能够持续上升。
GPT-3
GPT-3模型来自论文《Language Models are Few-Shot Learners》，受到了zero-shot的启发，咱们发现用大量的数据去做标示很困难，但假如一个样本都没有，它的泛化性纷歧定好，一起人类不需要很大的数据去做使命。这儿用了两个方法，一是元学习，二是in-context learning。
接下来咱们来看一下Zero-shot、One-shot、Few-shot和Fine-tuning的差异。最常见的是Fine-tuning，即会给一批新的数据，需要对原本的数据做必定的梯度更新；Zero-shot是说只给提示，剩余自己去做；One-shot是说会告知你去做什么，还会给一个示例；Few-shot是说会给更多的示例，告知使命应该做成什么样。In-context learning是它的中心，指咱们对模型进行引导，教会它应当输出什么内容。
作者对这3种学习方法别离进行了试验，能够看到在效果上Few-shot> One-shot > Zero-shot，且参数量越大模型表现越好。
ChatGPT的原理
ChatGPT的练习能够分成三步，第一步是需要去做一个有监督的模型；第二步是去收集数据给模型一个反应，即做强化学习；第三步是根据强化学习，去优化原本的模型。
整个练习进程能够分为四个阶段，包含文字接龙、找一个教师、让教师给评分以及成为教师。
文字接龙
ChatGPT的第一个学习阶段是文字接龙，当咱们给出一个不完整的句子，如“这个大白”，GPT会接下一个字，如“大白天”、“大白美”、“大白丑”，每次输出都会纷歧样，可是它会有一个概率。这儿咱们举个例子，如胡歌很帅，它刚开端学的就是胡，去猜测胡歌；已知胡歌，去猜测胡歌很；已知胡歌很，去猜测胡歌很帅，整个进程彻底不需要人工标示。
文字接龙有什么用呢？它就能够帮咱们答复很多问题。如它在网上看到了一句话叫做“我国最大的淡水湖”，然后让它答复问题，它能够一个个字接下去，就或许会答复鄱阳湖。当然假如这样去做，它的准确率是十分低的，由于没有标示的数据，质量都是不可控制的。
比如说你问它“我国最大的淡水湖”，它或许答复“鄱阳湖”，也有或许答复“这个问题谁知道呢”，还有或许答复网上的一个挑选题“是鄱阳湖还是太湖呢”。那么，怎样让它输出稳定下来变得更加可控呢？
找一个教师
要到达一个可用的状况，就要给它找到一个教师，去供给正确的答案，当然这种答案不需要特别多，ChatGPT里边大约给了一万个正确的答案。教师就会告知它“我国最大的淡水湖是鄱阳湖”，然后对这些正确的答案加上更多的权重，告知它人类的偏好是这样的，激发它原本的力量，原本ChatGPT也有能力生成这些答案。
让教师给评分
当它找到教师以后，就能够去渐渐模仿一个教师的喜好。当GPT去输出“鄱阳湖”、“太湖”的时分，会有一个判别器告知说得分是多少，假如是“鄱阳湖”就能够给它更高的分数。
成为教师
在得到评分的规范后，咱们需要把规范告知GPT，让它知道这个答案是正确的，这就是比较常见的强化学习。即会告知你，假如你答复对了，我会给你一个奖赏，然后你去反应到GPT傍边去，给鄱阳湖加上更多的权重，这样ChatGPT就会自己成为教师，知道什么样的答案是正确的答案。
ChatGPT在营销的使用
ChatGPT最中心的观念有两个，一是使用了超大的参数，二是给数据做高质量的标示。这能够给算法同学一个启示，咱们大部分时间能够不花在怎样用一些DIN、DCN、DeepFM之类的模型，更重要的是需要去给它更多的数据，加大它的参数量；二是高重量的标示，练习样本的质量必定要高，不能给一些过错或许模糊的答案，要给的数据标签必定要是十分正确的标签。在哈啰现在还没有一个超大模型呈现，使用在推荐、营销、定价等各个方向。
使用场景首要有两个，一是逛逛，在ChatGPT上面咱们能够告知它一句话，然后它能够去生成图片，或许在逛逛里边的一个问题，咱们能够用ChatGPT去辅助答复。二是运营同学在做广告标签的时分，咱们能够去让ChatGPT生成这些标语，拿过来给它十句左右的提示语，习惯哈啰的场景。
（本文作者：王伟）
关注大众号「哈啰技能」，第一时间收到最新技能推文。
