ChatGPT强势爆红，背后的技术原理是？一文轻松搞懂！

大家好，我是呼噜噜，最近一段时刻被ChatGPT疯狂刷屏，自从2022年11月发布上线后，不仅 5 天时刻便打破百万用户，月活用户打破 1 亿更是仅用时 2 个月，成为史上增速最快的消费级运用，远超现在其他闻名运用，tiktok，facebook,google等等，可谓来势汹汹。

什么是ChatGPT？

ChatGPT是由OpenAI团队开发和练习一个人工智能谈天机器人程序,换句话说便是专心于对话生成的大型言语模型。在2022年11月30 日OpenAI 的首席执行官Sam Altman在推特上写道：“今日咱们推出了 ChatGPT，测验在这儿与它攀谈”，然后是一个链接，任何人都能够注册一个帐户，开始免费与 OpenAI 的新谈天机器人攀谈。

它有着通用人工智能的名义，咱们人类能够和他谈日常琐事，还能够利用它来写年度总结，和程序员相同写代码，修正 bug，书写情诗，做表格，发论文，写作业，做翻译，甚至能够探讨哲学问题擎等……。人类历史上还没有呈现过这么通用，”全知全能”的AI。

在ChatGPT发布后的五天内，就有超过100万的玩家，而Facebook花了 10 个月才达到这种程度。《纽约时报》称其为“有史以来向大众发布的最好的人工智能谈天机器人，比尔盖茨说 ChatGPT 呈现的含义“不亚于互联网的诞生”，微软 CEO 纳德拉（Satya Nadella）说它堪比工业革命，也有人忧虑其会替代大多数普通人的作业岗位

OpenAI

这咱们就不得不提，ChatGPT的研制者OpenAI，OpenAI公司于2015年12月在美国旧金山成立，那时谷歌刚收买一家公司DeepMind，没错便是那个研制出接连击败国际围棋冠军李世石、柯洁的AlphaGo的公司

谷歌本世纪初就现已开始布局ai范畴，具有多年的技能堆集，再收买DeepMind，独占人工智能范畴的野心路人皆知。为了阻挠谷歌在人工智能范畴的独占，Altman带头提议组建一个与谷歌竞赛的实验室，将作为一个非营利组织运营，经过与其他组织和研究者的“自由协作”，向大众敞开专利和研究成果，促进先进人工智能的好处”民主化”。

OpenAI的创立者不仅仅有Altman，还有Elon Musk、Greg Brockman、Ilya Sutskever、John Schulman等闻名企业家财力支撑，还具有 各种技能大牛加入，如 Ilya Sutskever, Carlos Virella, James Greene, Wojciech Zaremb等。OpenAI团队麻雀虽小五脏俱全，但其能带来许多技能创新。

背面的原理和开展进程

现在ChatGPT取得令人冷艳的成就，但一切并不是一蹴而就的。ChatGPT是由OpenAI团队在2019年6月首次发布的，下图便是ChatGPT练习的首要3个阶段：

上图来自ChatGPT官网

第一步，首先搜集演示数据并练习监督战略模型（SFT） ChatGPT 模型本身是无法了解人类不同类型指令中包含的不同目的，这时分需要一个”教师”去教它，这个叫”练习”。 所以需要由人类事前标示好的高质量数据集进行练习。ChatGPT运用的数据集里边数据是海量的，所以咱们不能忽视在背面默默标示数据的第三方外包人员的辛苦付出。

为了练习ChatGPT，ChatGPT被美国《年代周刊》爆料初雇佣肯尼亚外包劳工进行数据标示，他们时薪不到2美元且内容对他们形成心理损伤。

接着咱们就需要把这些整理好的数据来喂给ChatGPT进行半监督学习，在ChatGPT呈现之前，NLP 模型（自然言语处理）首要是依据针对特定使命的许多标示数据进行练习，也便是“有答案”的数据集，这也叫”监督式学习“。

自然言语处理是一个非常紧密的推理进程，不仅要辨认每个词，还要处理词语间的序列，因而诞生了循环神经网络（RNN）模型。但RNN只考虑单词或许上下文信息，常常导致全文句意前后不连贯，或许了解杂乱句子时出错。这也就导致一些缺点：需要许多的高质量标示数据，高质量的标示数据往往很难获得，并且在实际标示中，有些标签并不存在明确的鸿沟；模型又仅限于所接受的练习，泛化才干缺乏。

所以ChatGPT选用”半监督式学习”，运用海量的无标示数据练习一个预练习模型，然后再依据特定使命进行微调，比方自然言语推理、问答和常识推理、语义相似度、文本分类。将无监督学习的成果用于左右有监督模型的预练习方针，也叫生成式预练习（Generative Pre-training），没错这便是ChatGPT的GPT3个字的来源！

和谷歌一直换ai的战略不同的是，ChatGPT就很执着，ChatGPT-1刚出来的时分，被业内群嘲，但openai团队，并不气馁，不断扩大练习数据规划，属实是大力出奇观的模范：

0. 2019年6月，ChatGPT-1，这是第一个依据自然言语处理的对话生成模型，具有1.17亿参数；
1. 2020年6月：发布了ChatGPT-2，该模型具有1.17亿个参数的基础上进一步增加到了15亿个参数，成为其时最先进的自然言语处理模型之一。
2. 2020年11月：OpenAI推出了GPT-3，这是一个具有1750亿个参数的巨型言语模型，能够生成高质量的自然言语文本。它的呈现引起了广泛的关注和评论，并被认为是人工智能范畴的一项重大成就。
3. 2022年3月，OpenAI新推出13亿参数的InstructGPT。从人工评测作用上看，比较1750亿参数的GPT3，人们更喜欢13亿参数的InstructGPT生成的回复。可见，并不是练习数据规划越大越好。更低的参数，也就意味着更低的成本
4. 2022年11月，估测约20亿参数的ChatGPT-3.5被推出，具体数据暂未公开，颤动全球

到这儿，就练习成了SFT模型(Supervised Fine-Tuning Model)，此时ChatGPT现已能初步能够了解人类的实在目的,算是”学有小成”了

第二步：练习奖赏模型（RM） 由于现有的答复是多种多样的，界限是模糊的，无法直接经过标示直接划分。那么怎么让AI的答复契合人类的目的？

依据论文Scalable agent alignment via reward modeling: a research direction的理论， 这个时分咱们需要给ChatGPT的随机抽取一批新问题，每个问题都设置一个奖赏方针，让ChatGPT生成多个答复，接着人类依据答复的质量，打分，进而依据分数排名，让高质量答复的分数高于低质量答复，以契合人类目的的方式处理杂乱的现实国际问题。

到这儿，就形成了奖赏模型(Reward Model),再次经过许多的练习，这个模型会让ChatGPT越来越能懂人类真是目的，不断打分，ChatGPT就会不断地进化。

第三步：选用近端战略优化PPO强化学习来优化战略 到了这一阶段，由于人类的精力是有限的，哪怕是雇佣更多的人，但关于互联网网上海量的数据，还是沧海一粟。这个时分，就需要让 ChatGPT 开启”自学“形式，不断学习，自我进化。

给ChatGPT更多全新的数据，经过PPO强化学习算法生成答复，并利用上一阶段练习好的奖赏模型，来靠奖赏打分排序来调整模型参数。然后不断重复第二和第三阶段的进程，也便是自己给自己命题，再自己对答案，然后微调模型参数，进行海量次数的迭代，这样直至练习出最终契合预期的模型，实现”最终进化”

在 ChatGPT 基础的 InstructGPT 的论文中，Actor 和监督微调模型都运用了 1750 亿参数的 GPT-3 系列模型，Critic 和奖赏模型则运用了 60 亿参数的 GPT-3 系列模型。 更具体的移步论文：Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback

带来的争议和应战

然后新事物的诞生并不仅仅只有夸姣的一面，ChatGPT也带来许多潜在的问题。2023年1月，国际机器学习大会制止在提交的论文中运用ChatGPT或其他大型言语模型来生成任何文本。许多学生用ChatGPT来写作业，导致纽约市公立学校制止师生在校园网路及装置上运用ChatGPT。

数据集的获取是否契合版权问题一直是ChatGPT绕不开的问题，无法确保个人信息安全，可能导致信息走漏。由于ChatGPT现在是依据2021年及其之前所具有的数据集进行答复的整合，问它2022，2023或许最近国际上发生的事，它是不知晓的。这就不可避免地确保数据集接触到负面的，暴力的，充满恶意的信息。怎么最大限度地并持久地阻隔这些负面信息？假如是人工去阻隔，是非常困难且痛苦的，类似于内容审核员，鉴黄师…

除此之外，用户对ChatGPT的恶意利用也会带来许多数据安全问题。比方利用自然言语编写的才干，编写恶意软件，从而逃避防病毒软件的检测；利用ChatGPT的编写功用，生成垂钓电子邮件；利用对话功用，假充实在的人或许组织骗取他人信息等。

现在尴尬的是当咱们知晓答案的正确与否时，咱们能够向ChatGPT请教，但当咨询咱们不了解的范畴，ChatGPT现在无法确保它的答案是正确的，需要再和专业的人承认。 由于其技能上将海量的数据结合表达才干很强的Transformer模型结合，从而对自然言语进行了一个非常深度的建模。它本质上仅仅经过概率最大化不断生成契合预期的答复，而不是经过逻辑推理来生成正确的答复。

2022年12月，程序员非常了解的Stack Overflow制止用户发布运用ChatGPT生成的答案，理由是ChatGPT的答案虽看似可用，实际上却有很高的过错率，不苟言笑地胡说八道。

尾语

从 IBM 的“深蓝”，到 Google 的 AlphaGo，再到 OpenAI 的 ChatGPT，AI的打破都是按部就班、从小到大地一步步实现，只有兢兢业业深耕基础范畴，才干有质的飞越。盲目地造新概念，一窝蜂去摘果实，割韭菜会制约整个职业的开展

随着时刻和技能的开展，AI的兴起，是大势所趋。许多机械的、重复的，没有考虑价值的作业，会逐渐消失，但也会将给国际带来新的产业革命。

ChatGPT能够用更挨近人类的考虑方式参与用户的查询进程，能够依据上下文和语境，提供恰当的答复，并模拟多种人类情绪和口气，甚至能够自动承认本身过错，吸取教训并优化答案。假如你长时刻和它交流，你会有时感觉它在”巴结你”。

ChatGPT的呈现给所有人都敲想了警钟，年代的轮盘现已悄悄转动，要想不被扔掉，咱们人类只有不断地学习，考虑，进步

参阅论文&材料：

0. Illustrating Reinforcement Learning from Human Feedback (RLHF) Illustrating Reinforcement Learning from Human Feedback (RLHF)
1. Optimizing Language Models for Dialogue ChatGPT: Optimizing Language Models for Dialogue
2. Scalable agent alignment via reward modeling: a research direction
3. Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback
4. wikipedia.chatgpt
5. ishare.ifeng.com/c/s/v002SAo…__

---

本篇文章到这儿就完毕啦，假如我的文章对你有所协助，还请帮助一键三连：点赞、关注、收藏，你的支撑会激励我输出更高质量的文章，感谢！

计算机内功、源码解析、科技故事、项目实战、面试陈腔滥调等更多硬核文章，首发于大众号「小牛呼噜噜」，咱们下期再见。