前语

最近一款叫ChatGPT的谈天产品迅速火了起来，国外网络上热度一直不减。即使是在国内，除了技术爱好者和相关从业人士，甚至在许多娱乐新闻上都能看到它的身影。前阵子还上了抖音的热榜，这关于一个技术产品来讲的确是十分可贵，十分出圈的一件事。

So, it is 何方神圣？

马斯克的担忧与OpenAI的创立

OpenAI是现在世界上最顶级的人工智能实验室之一，其创始人之一正是鼎鼎有名的明星企业家马斯克。马斯克一直是AI要挟论的支持者，他认为在未来AI会要挟到人类社会，但他觉得防止AI潜在要挟的最好办法并不是去约束它，而是透明化地研究它，敞开他，遍及他，防止巨子垄断。

2015年末马斯克作为创始人之一的身份和硅谷大佬一起创建了明星企业OpenAI。起初OpenAI的定位是一家非盈利专注于人工智能研究的实验室，可是现在也有商业化的部分。其使命是经过研制一种高度自主且在大多数具有经济价值的工作上逾越人类的系统。

OpenAI重视在AI范畴的理论研究，公司建立以来宣布了许多明显的研究成果，与其他巨子比较，OpenAI更重视开源分享，因而每年都会发布一些有影响力的开源著作或渠道，使得OpenAI每次发布开源著作时，都会遭到业内人士的广泛重视。

火遍全网的ChatGPT有何过人之处？

就在本月（2022.12）OpenAI推出了他们的最新之作ChatGPT，一经推出就获得大量重视，据官方统计ChatGPT推出一周的时刻，线上体会用户已超过一百万，那他到底有何神奇之处，能引起如此大的重视呢？

强烈建议我们自己去官网体会一下，不过需求先注册，但ChatGPT对国内用户十分不友好，能够说是能封住的地方都封住了（不知道什么仇什么怨），所以注册一个ChatGPT账号对国内用户来讲也是一件成本很高的事。我总结了一下注册账号的教程，放在末尾章节，有需求的能够依据它去尝试注册。

这里有我体会的一些示例，作用确实很冷艳。

演示

1.严谨常识类

常识类的问题，关于来ChatGPT说是小菜一碟，每次对话都十分好的保存上下文的语义环境，让沟通很顺畅。

2.敞开性常识类

答复准确，解答具体，靠近人类生活，会给出靠谱的建议

3.世纪难题，无适宜答案类

关于这种无理的问题，ChatGPT显得有点滑头，尽管它给出了看起来说的过去的答案，但显得太过官方，不管问它多少遍它的答案都不会是妈妈或者是妻子，更不会从法令等一些客观角度给出定论，由于不管如何挑选，答案都是反人性的，ChatGPT不会给出引发争辩的、有毒的、坏的答案，从中也能看出它并不是野蛮生长，而是有着这人类干涉和调教的进程，假如你一再逼问，它最终会拒绝答复。

4.更理性更具有人类情感的问题

即使是人类中很理性的问题，ChatGPT一般也能给出比较合理的答案，而由于人类的干涉和调教，它的价值观会愈加重视让你尊重对方，而不是为你得坏心思供给办法，ChatGPT并不短少办法，许多问题往往需求换一个问法它才干给出让人满足的答案。

5.创作才能

依据简略的故事情节要求，创作了小芳和小明的爱情故事，几乎能让人无法分辩是机器还是人的创作，十分有意思。

6.代码才能
按要求代码编写，动态输入指令，代码纠错，编码才能合格。

OpenAI看家之作 — GPT自然言语模型

GPT开展史

之所以叫它ChatGPT，是由于它使用了一个叫GPT的自然言语模型，GPT是openAI的一个自然言语处理的模型，到今日现已开展到了第三代，GPT3也是最具有影响力的一代。

从GPT发布史来看从18年到20年发布到GPT3后，就没有GPT大版别发布了，这个和GPT3的练习办法也有关系，年头发布的instructGPT和chatGPT都是在此基础上的微调版别，chatGPT能到达如此冷艳的作用也全仰仗GPT3模型，那它为什么如此之强呢。

里程碑-GPT3

大力出奇迹！！

事实上GPT3比较较上代并没有太大结构上的差异，它之所以这么强首要是由于OpenAI的土豪式的练习办法。从上图能够看出，GPT3比较较GPT2练习的参数量从15亿跃升至1750亿，提高了一百多倍！数据量也到达了45TB。

GPT3经过海量到夸张的数据量，远远逾越现有的一切自然言语模型，到达了冷艳的作用，同时1200万美元的巨大练习花费，也是绝大多数企业无法担负的，甚至GPT3自爆练习进程出现一个bug，OpenAI也没有资金重新练习了。

从数据到AI — ChatGPT模型练习之路

数据有了，那ChatGPT是如何被练习成一个如此智能的谈天工具的呢，总的来说能够分为以下四个部分：

学习文字接龙

先看下GPT如何补全一个完整的句子，首先GPT在网络上搜集它看到的一切句子，这样当有文字输入后，GPT挑选用哪个文字去对输入的文字做弥补，构成完整的句子。

那GPT学习了那么多的句子，它怎么知道该用哪个做补全？所以GPT的输出是几率分布的，学习了一切与这个文字相关的句子，按几率巨细，从其中随机抽取出来补全（每次都不相同）。

比如它搜集的句子中50% “你好” 后边都接 “美”，那当输入“你好”时，GPT就有50%的几率挑选用“美”补全，这样GPT就能将字组装成有意义的句了

人类教师引导文字接龙方向

可仅仅是文字接龙，GPT只能产出有意义的句子，还远远无法到达问答的要求，所以就来到了有人类教师介入的第二个阶段，引导文字接龙方向，让GPT知道人类一般想要得到的句子是什么样的。

经过输入一批代表性的问题和标准答案，让GPT了解人类常用的提问形式和想得到的答案类型，起码知道当输入一个问题时，要回来一个陈述句而不是疑问句，不需求穷举一切问题，只是让GPT了解大概偏好 这样GPT挑选出一部分愈加靠近人类的答案，抛弃掉许多无用数据。

仿照人类拟定的偏好，练习教师模型

经过人类引导后，GPT或许对一个输入有多个输出，都契合人类引导的偏好，可是如何进一步在这些输出中，能有更大几率挑选到更优质的答案呢，就需求人类的打分系统。

经过ChatGPT和openAI开源的API，GPT得到越来越多的人类向他提出的问题，GPT会对这些问题输出多个答案，雇佣许多人类教师给GPT的多个答案打分，人类教师不需求告诉GPT标准答案，只需求对GPT已有答案进行打分，GPT渐渐就会了解那些答案是更优质的答案。

经过这些数据练习一个仿照人类教师打分标准的教师模型，用这个模型替代人类，去给GPT模型做打分练习，削减人工成本，GPT模型的答案越来越优质，越来越靠近人类喜爱。

用增强式学习向模型教师学习

GPT将输入的问题和它回来的输出的答案，给到教师模型，教师模型现已学会了人类的喜爱（如，教师模型知道输入是个问句，输出假如是问句就给低分，由于用户肯定是希望得到一个答案），他会给GPT的输出打分，协助GPT模型练习。

练习不需求人类，模型能够一直不断的自我练习，自我完善，越来越靠近人类需求。

特性总结

• 防止专业方向调优使模型愈加通用
• 无法复制的海量学习数据
• 极强的上下文连接才能
• 对用户真是目的的了解更深入
• 长于处理广泛的常识和逻辑了解
• InstructGPT有毒答复改了减小25%
• InstructGPT的71%-88%的成果契合人类喜爱

ChatGPT国内用户注册办法

1. 需求海外VPN节点（非国内、香港）
2. 需求非国内邮箱（可用注册Outlook，Gmail很方便）
3. 需求海外国家手机号验证码（可用sms-activate.org接码渠道，挑选ChatGPT，接收一条验证码大概几块钱）
4. 官网地址注册（beta.openai.com/signup）

参考文献

1. OpenAI API文档
2. 预练习言语模型之GPT-1，GPT-2和GPT-3
3. Training language models to follow instructions with human feedback
4. [DLHLP 2020] 來自獵人暗黑大陸的模型 GPT-3
5. Chat GPT (或许)是怎麼煉成的 – GPT 社會化的過程
6. OpenAI Codex 论文精读【论文精读】

结尾

非相关专业人员，该文内容来源于ChatGPT使用体会、OpenAI官网介绍、与互联网上相关文章的阅读和了解，如有错误请指正。

开启生长之旅！这是我参与「日新方案 2 月更文应战」的第 1 天，点击检查活动详情