什么是ChatGPT?
tips：资料来自百度百科、openAi、CSDN博主「琦在江湖飘」、Info写作社区、CSDN博主「夕小瑶」等网页资料。
1.什么是ChatGPT？
ChatGPT（全名：Chat Generative Pre-trained Transformer），美国OpenAI 研制的谈天机器人程序 ，于2022年11月30日发布 。ChatGPT是人工智能技能驱动的自然言语处理东西，它能够经过学习和了解人类的言语来进行对话，还能依据谈天的上下文进行互动，真正像人类相同来谈天沟通，乃至能完结撰写邮件、视频脚本、案牍、翻译、代码，写论文等使命。
ChatGPT本质是一个运用在对话场景的言语模型，依据GPT3.5经过人类反应的强化学习微调而来，能够答复后续问题、承认过错、质疑不正确的前提以及回绝不适当的恳求。 咱们能够让今日的主角ChatGPT来亲身介绍自己。
OpenAI 11月30号发布，首先在北美、欧洲等现已引发了火热的讨论。随后在国内开端火起来。全球用户争相晒出自己极具创意的与ChatGPT沟通的效果。ChatGPT在很多网友的疯狂测验中表现出各种惊人的才能，如流畅对答、写代码、写剧本、纠错等，乃至让记者编辑、程序员等从业者都感受到了威胁，更不乏其将取代谷歌查找引擎之说。继AlphaGo打败李世石、AI绘画大火之后，ChatGPT成为又一新晋网红。下面是谷歌全球指数，咱们能够看到火爆的程度。
国内对比各大平台，最早火起来是在微信上，经过微信指数咱们能够看到，97.48%来自于大众号，开端于科技圈，迅速拓宽到投资圈等。我最早了解到ChatGPT相关信息的也是在关注的科技大众号上，随后看到各大大众号呈现关于介绍ChatGPT各种震动体要害词地震、杀疯了、毁灭人类等。随后各行各业都参与进来有趣的整活，问数学题，问前史，还有写小说，写日报，写代码找BUG等等。
不过，现在ChatGPT未对中国大陆开放，注册需求境外手机号或是运用VPN等途径，十分不方便。
2.ChatGPT技能
中心技能
2.1言语模型
言语模型浅显讲是判别这句话是否通畅、正确。数学函数表达为给定前N个词，猜测第N+1 个词概率，将概率序列分解成条件概率乘积的形式，这个函数就能够完结言语模型去生成句子。那么是什么样的言语模型如此强壮，
深度学习开端的言语模型演技进程，如下图所示：
ELMo十分显着的缺点在特征抽取器LSTM结构带来的，17年Google在机器翻译Transformer取得了效果的突破，NLP各种使命开端验证Transformer特征提取的才能比LSTM强很多。自此NLP敞开了Transformer年代。
2018年OpenAI选用Transformer Decoder结构在大规模语料上练习 GPT1模型横扫了各项NLP使命，自此迈入大规模预练习年代NLP使命规范的预练习+微调范式。由于GPT选用Decoder的单向结构天然缺陷是无法感知上下文，Google很快提出了Encoder结构的Bert模型能够感知上下文效果上也显着有提高。随后2019年OpenAI提出了GPT2，GPT2拥有和GPT1相同的模型结构，但得益于更高的数据质量和更大的数据规模有了惊人的生成才能。同年Google选用了Encoder-Decoder结构，提出了T5模型。从此大规模预练习言语模型兵分三路，开端了一系列接连的作业。
2020年OpenAI提出GPT3将GPT模型提高到全新的高度，其练习参数到达了1750亿，自此超大模型年代敞开。技能路线上摒弃了之前预练习+微调的范式，经过输入自然言语当作指示生成答案，开端了NLP使命新的范式预练习+提示学习。由于GPT3能够发生通畅的句子但是准确性等问题一直存在，呈现WebGPT、InstructGPT、ChatGPT等后续优化的作业，完结了模型能够了解人类指令的含义，会甄别高水准答案，质疑过错问题和回绝不适当的恳求。
2.2深度学习
深度强化学习（deep reinforcement learning，DRL）是强化学习一个分支，依据深度学习强壮的感知才能来处理杂乱的、高维的环境特征，并结合强化学习的思维与环境进行交互，完结决策进程。DRL在游戏场景这种封闭、静态和确定性环境能够到达乃至逾越人类的决策水平。比较闻名的事件是2017年DeepMind 依据深度学习和战略查找的 AlphaGo 打败了围棋世界冠军李世石。2018 年OpenAI 团队依据多智能体 DRL推出的OpenAI Five 在Dota2游戏中打败了人类玩家。DRL算法首要分为以下两类：
值函数算法：
值函数算法经过迭代更新值函数来直接得到智能体的战略，智能体的最优战略经过最优值函数得到。依据值函数的 DRL 算法选用深度神经网络对值函数或许动作值函数进行近似，经过时间差分学习或许 Q 学习的方式分别对值函数或许动作值函数进行更新。代表性的是2015 年 DeepMind 团队提出深度Q网络（DQN），及这以后的各种变种DDQN、Dueling DQN、分布式DQN等。
战略梯度算法：
战略梯度算法直接选用函数近似的方法建立战略网络，经过战略网络选取动作得到奖赏值，并沿梯度方向对战略网络参数进行优化，得到优化的战略最大化奖赏值。能够用来处理接连动作。在实际运用中流行的做法是将值函数算法和战略梯度算法结合得到的执行器‒点评器（AC）结构。代表性作业有战略梯度算法、AC 算法以及各种变种DDPG、A3C、PPO等。ChatGPT运用的就是战略梯度算法PPO。
技能原理
ChatGPT全体技能方案是依据 GPT-3.5 大规模言语模型经过人工反应强化学习来微调模型，让模型一方面学习人的指令，另一方面学习答复的好不好。
ChatGPT在对话场景中心提高了以下三方面：
1）更好的了解用户的发问，提高模型和人类目的的一致性，一起具有接连多轮对话才能。
2）大幅提高成果的准确性，首要表现在答复的愈加的全面，一起能够承认过错、发现无法答复的问题。
3）具有辨认非法和偏见的机制，针对不合理发问提示并回绝答复。
ChatGPT的提高首要涉及以下三方面技能：
1）性能强壮的预练习言语模型GPT3.5，使得模型具有了博学的基础。
2）webGPT等作业验证了监督学习信号可大幅提高模型准确性。
3）InstructGPT等作业引入强化学习验证了对齐模型和用户目的的才能。
ChatGPT的练习进程分为微调GPT3.5模型、练习报答模型、强化学习来增强微调模型三步：
第一步：微调GPT3.5模型。让GPT 3.5在对话场景初步具有了解人类的的目的，从用户的prompt调集中采样，人工标示prompt对应的答案，然后将标示好的prompt和对应的答案去Fine-tune GPT3.5，经过微调的模型具有了必定了解人类目的的才能。
第二步：练习报答模型。第一步微调的模型显然不够好，至少他不知道自己答的好不好，这一步经过人工标示数据练习一个报答模型，让报答模型来协助点评答复的好不好。具体做法是采样用户提交的prompt，先经过第一步微调的模型生成n个不同的答案，比如A、B、C、D。接下来人工对A、B、C、D依照相关性、有害性等规范规范并进行综合打分。有了这个人工规范数据，采纳pair-wise 损失函数来练习报答模型RM。这一步完结了模型判别答案的好坏。
第三步：强化学习来增强微调模型。运用第一步微调GPT3.5模型初始化PPO模型，采样一批和前面用户提交prompt不同的调集，运用PPO模型生成答案，运用第二步报答模型对答案打分。经过发生的战略梯度去更新PPO模型。这一步利用强化学习来鼓舞PPO模型生成更符合RM模型判别高质量的答案。
经过第二和第三步的迭代练习并相互促进，使得PPO模型才能越来越强。
具体详见CSDN博主「琦在江湖飘」文章
3.ChatGPT运用
ChatGPT的实际运用
ChatGPT能够运用于多种范畴，首要运用场景如下：
问答体系：ChatGPT 能够经过对询问进行了解和生成简明易懂的答复。
谈天机器人：ChatGPT 能够用于构建人机对话体系，以协助用户解决其问题并答复其问题。
文本生成：ChatGPT 能够用于生成文本，例如新闻文章、诗篇、小说等。
机器翻译：经过运用多言语练习数据，ChatGPT 能够用于文本翻译。
其他运用：
（1）写情书
让 chatGPT 帮我写了一份情书，整得还挺好，赞一个：
（2）找美女图
我帮我们检测了一下 chatGPT，还是十分站的，经过了检测！
（3）写代码
（4）写歌词
运用：
（1）程序接入
接入过程
咱们用程序接入 chatGPT 十分简单，直接用 chatGPT 去创立一个程序要用的秘钥，就能够运用 http 接口调用了。
chatGPT 的官网 openai 为咱们供给很多言语快速开发的 SDK，概况如下：
接入 chatGPT 你的程序能做的 49 件工作
当你开通 chatGPT 之后，你的程序就能够经过接口完结以下基本的 49 件工作了；我给我们都批注好了，那一项不明白的就谈论区沟通；下面每一项勇哥都熬夜晚过了，十分 NICE。
4.ChatGPT好玩的案例
- ChatGPT进入百度“弱智吧”后，疯了。 mp.weixin.qq.com/s/BE1TkqY8C…
不得不说，“弱智吧”的一些经典发问，真的会把ChatGPT搞到崩溃。。。这一点上，我觉得还是人类更胜一筹。
- ChatGPT惊人语录大赏
mp.weixin.qq.com/s/csyCHucLt…
这里是一些关于ChatGPT的经典语录大赏，真的是看了之后毁三观。
乃至还有网友让ChatGPT扮演猫娘，笔者看了谈天记录之后直接吐血。。
能够说，ChatGPT好不好玩，纯看你的脑洞大不大。。。
- 谷歌要完，百度也危了
mp.weixin.qq.com/s/qVt89FS_w…
最后是把ChatGPT当成一个查找引擎来用，你会发现十分惊喜。。这终究会不会成为一个推翻谷歌、百度的新型查找引擎形态，谁也不好说。但至少现在来看，潜力十分大。
5.面临的挑战和问题
5.1慢的问题
chatGPT 火遍全球，涌入了很多的拜访者，那么这就是 chatGPT 慢的原因吗？其实不然，试想 chatGPT 背后那么多大佬，不缺服务器，但为什么依旧接近不了慢、网络过错等问题呢？AI 算力是中心要害，如下图很多用户拜访 chatGPT，chatGPT 要并发的从海量数据模型中去计算用户恳求的真实目的，并给出正确成果。这需求十分庞大的算力，而这个正是卡主 chatGPT 脖子的工作.
5.2错的问题
网上也有一大堆网友在调侃 chatGPT 的过错，其实这是真实存在的，如下图点评歌曲显着是答复有误差了。那么这说明 chatGPT 还有努力的空间，一起也方向证明了，大佬都解决不了的问题，它本身就具有很高的杂乱性。
5.3广的问题
chatGPT 在一些范畴还支撑不到位或许说直接不支撑，这表现出 chatGPT 的广度还有待提高，但他为什么没扩大广度呢？其实这个问题还得回归算力和本钱上来。GPT-3 模型练习一次需求花费 460 万美元，这是十分十分高本钱的工作。
本文正在参与✍技能视角深化 ChatGPT 征文活动
