1.引子
21年开端在公司负责一个全链路语音的项目，支撑公司的Iot设备，有点相似于市面上”小爱“、”小度“之类的音响，算是语音+言语在AI方向的综合运用，全体交互流程如下图：
体会过市面上这类产品的估计都有中”智障“的感觉，除了特殊的几类问题，几乎什么都不会，并且对Query的泛化也不是很好，同一个问题换个问法就不会了，给人的感觉便是”傻“。
在考虑咱们竞争力的时分自己一向在考虑，咱们怎样做到比市面上许多产品强。抛开ASR和NLU这种比较老练的通用的算法，从上图咱们能够看到体系精干多少事取决于能够调度多少资源，比方最常用的气候、音乐、闹钟等。这种NLU+对话办理+资源调用咱们称为一个”技能“，其时自己的定论是产品的好坏取决于技能的多寡，跟算法侧才干反而关系不是那么大。有些其他体系调用不到的咱们内部的资源咱们能够运用起来构成产品壁垒。举个例子，想用一句话完成打车功能，得有打车体系的API对咱们开放，假如不开放咱们就无法做到。
新年假期去看漂泊地球，看到MOSS前身550W中，数字人能够生命演进，能够主动生成体系，能够做出对人类最有利的决议方案，顿时感觉咱们现在的”智障“里真实的通用人工智能差了不知道多少光年。
过完新年返工后ChatGPT开端进入咱们的视界，试用一番后发现它真的不止是在做简略决议方案了，是真实含义的生成了，举个例子，我问他“侯世达”，他真给“创造”了一个出来（我在各个地方都没有找到这个清华大学的“侯世达”）：
我不由又充满了期望，ChatGPT的出生是不是意味着咱们迈向通用人工智能AGI的方向前进了一个数量级？
为了搞清楚这个问题，咱们先了解一下AI的开展前史。
2. AI开展史
要了解AI的前史，不得不提一个叫“达特茅斯”的会议，由于正是在这个会议中，发起人麦卡锡提出的。
1955年，28岁的麦卡锡进入了达特茅斯学院的数学系。在读本科时，这哥们就学过一点儿心理学和“主动机理论”（后来演变为计算机科学），并对创造一台能够考虑的机器很感兴趣。后面他遇到了和自己相同对智能计算机的潜力十分入神的学长马文明斯基（Marvin Minsky）。毕业后，麦卡锡在贝尔试验室和IBM曾经时刻短任职，其间，他分别与信息论的创造者克劳德香农（Claude Shannon）以及电气工程前驱内森尼尔罗切斯特（Nathaniel Rochester）合作过。这些人后来都成了“符号人工智能学派”的代表人物。在达特茅斯时，麦卡锡发挥自己的这些人脉关系，说服明斯基、香农和罗切斯特帮助他组织一个人工智能研讨项目，这个项目方案在1956年夏天开展，为期两个月，共10个人参与1。其时他创造“人工智能”这个词是期望将这一范畴与“操控论”的研讨区别开来。
后面这些人都成了各届的领军人物，像信息论的创始人香农，并且后来麦卡锡在斯坦福大学、明斯基在麻省理工大学，纽厄尔与西蒙在卡内基梅隆大学分别创建了试验室。其时其时的他们还很年青，所以有些单纯，所以他们十分达观地以为人工智能是触手可及的：“咱们以为，只需精心挑选一组科学家一起针对这其间的一个或多个课题研讨一整个夏天，就能够获得严重的进展。”
与上面“符号人工智能”相伴而生的还有以罗森布莱特为代表的感知机，根据对神经的模仿。1969年，明斯基和他在麻省理工学院的搭档西摩佩珀特（Seymour Papert）出版了一本名叫《感知机》（Perceptrons）20的书，书中给出了一个数学证明，表明感知机能够完美处理的问题类型十分有限，由于感知机学习算法跟着任务规划的扩展需求许多的权重和阈值，所以表现不佳。随后感知机方向式微，更悲痛的是之后两年，43岁的罗森布莱特丧生于一次划船事端，感知机方向更是雪上加霜。
与此同时，符号人工智能的倡导者正在撰写拨款提案，并许诺将在语音和言语理解、常识推理、机器人导航，以及主动驾驭轿车等范畴获得打破。到了20世纪70年代中期，虽然有几个聚焦面狭窄的专家体系得到了成功布置，但之前许诺过的更通用的人工智能打破并未完成，随后人工智能进入寒冬。
后面又有几个重要的时刻节点：
- 1997年：IBM深蓝机器象棋范畴打败人类
- 2006年：深度学习三巨头辛顿、杨立昆、本吉奥推进深度学习开展
- 2011年：IBM沃森在“风险边际”节目打败人类
- 2016年：AlphaGO在围棋范畴打败人类
- 2022年：ChatGPT横空出生
由于游戏独特的优势，许多人在研讨人工智能时都会从游戏作为切入口。1949年塞缪尔（第一个提出机器学习概念）就测验编写西洋棋游戏。在深蓝打败象棋范畴人类冠军前人们一度觉得机器在象棋界无法打败人类。上述每个事件的产生都在其时对人们造成了极强的震慑。聊到游戏，咱们在说说DeepMind：
2010年，年青的英国科学家兼游戏爱好者戴米斯哈萨比斯与他的两位密友在伦敦创办了一家名为DeepMind的科技公司。哈萨比斯是现代人工智能界中一个风趣的传奇人物，他是一个在6岁前就获得过国际象棋比赛冠军的神童，15岁时开端专职编写电子游戏程序，22岁时创办了自己的电子游戏公司。除了创业活动，哈萨比斯还在伦敦大学学院获得了认知神经科学博士学位，以进一步完成他构建受人脑启示的人工智能的方针。哈萨比斯和他的搭档创建DeepMind是为了处理人工智能范畴真实根本的问题。DeepMind团队将电子游戏视为处理这些问题的绝佳场景。在哈萨比斯看来，电子游戏像是现实国际的缩影，但更纯净并且更易被束缚。
DeepMind团队将强化学习，尤其是Q学习，与DNN相结合，创建了一个能够学习玩雅达利电子游戏的体系。DeepMind团队将他们的深度Q学习方法用在了街机学习环境中49款不同的雅达利游戏上。虽然DeepMind的程序员对这些游戏运用的是相同的网络架构和超参数，他们的体系在学习一款新的游戏时，依然需求从零开端，也便是说，体系从一款游戏中学到的知识（即网络权重）无法迁移到另一款游戏上。在每一款游戏上，体系都需求经过上千个片段的练习，但该进程可经过先进的计算机硬件比较快速地完结。
DeepMind在2013年的一场国际机器学习会议7上初次展示了这项作用，观众看得目不暇接。之后不到1年，谷歌宣布以4.4亿英镑（其时约合6.5亿美元）的价格收购DeepMind，想必是看中了DeepMind获得的这些作用。想在DeepMind也代表着谷歌关于AI的一种研讨方向。
介绍AI开展前史想表达几个观念：
- 一个范畴的开展离不开本钱的支撑；
- 一个范畴职业不是一蹴即至的，会阅历几波寒冬到复苏的进程；
- 一个方向在当时不被认可，或许并不是方向不对，二是环境不老练，比方感知机，也便是神经网络的雏形，其时被批骗经费，现在跟着算力的进步，以及数据的老练而成了干流。
- 每个打破都会给人带来强壮的震慑，以及与觉得通用人工智能离咱们触手可及。
- 引证达特茅斯学院研讨会举行50年后，麦卡锡总结的最简略的教训：“人工智能比咱们以为的要难”。
- 再运用明斯基的总结：“看似简单的工作其实都很难”
3. ChatGPT产生影响
ChatGPT给咱们带来满足的震慑，咱们先来弄清楚什么是ChatGPT。
ChatGPT是OpenAI公司的产品，OpenAI总部坐落旧金山，由特斯拉的马斯克、Sam Altman及其他投资者在2015年一起创建，方针是开发谋福全人类的AI技能。后面马斯克的特斯拉一向从OpenAI挖人，后面遭到了其他老板的嫌弃，终究马斯克在2018年离开。从2018年起，OpenAI就开端发布生成式预练习言语模型GPT（Generative Pre-trained Transformer），可用于生成文章、代码、机器翻译、问答等各类内容，结果了几次迭代有了现在的ChatGPT：
| 模型 | 发布时刻 | 参数量 | 预练习数据量 |
|---|---|---|---|
| GPT-1 | 2018年6月 | 1.17亿 | 约5GB |
| GPT-2 | 2019年2月 | 15亿 | 40GB |
| GPT-3 | 2020年5月 | 1750亿 | 45TB |
| ChatGPT | 2022年12月 | 千亿级？ | 百T级别 |
为什么直到ChatGPT咱们圈外人才开端了解GPT，由于之前的版本不行好，最起码没有好到让咱们震慑的境地。从参数规划上看，每个版本都是一个数量级的进步，对ChatGPT的估测或许都已经过于保守了。ChatGPT 是根据GPT-3.5（Generative Pre-trained Transformer 3.5）架构开发的对话AI模型，是InstructGPT 的兄弟模型。ChatGPT很或许是OpenAI 在GPT-4 正式推出之前的演练，或用于搜集许多对话数据。
从咱们对ChatGPT的运用看，ChatGPT有一下特点：
- 能够主动供认自身错误。若用户指出其错误，模型会听取意见并优化答案。比方咱们让写一篇文章，写完后咱们能够告知它不行精简，它会再给一个精简版。
- ChatGPT 能够质疑不正确的问题。例如被询问 “刘备和和刘禹锡2020年父子慈孝的情景” 的问题时，机器人会阐明他们不属于这一时代并调整输出结果。
- ChatGPT 能够供认自身的无知，供认对专业技能的不了解，深的孔子“知之为知之不知为不知”的精髓。
- 支撑接连多轮对话，多轮对话才干也是上面特征的根底，它会记载当时会话的上下文。
OpenAI运用 RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习） 技能对 ChatGPT 进行了练习，且加入了更多人工监督进行微调。
持续深入的原理能够去看看paper:Augmenting Reinforcement Learning with Human Feedback，并参考呼应的文章阐明。说到底关于咱们运用者来说，ChatGPT是一个根据 Transformer 的言语生成模型，它能够主动为输入的主题生成合适的文章，相似的StableDiffusion 是一种强壮的图像生成模型，能够经过对一张图片进行演化来生成新的图片，Github Copilot 是一个智能编程帮手，能够加速日常编程活动，他们都是AIGC的一部分，AIGC不是一个新鲜事物。
1981年开端，计算机科学家、作曲家大卫科普在加州大学圣克鲁兹分校规划了仿真机器人EMMY（名字取自“音乐智能试验（Experimentsin Musical Intelligence）”的首字母缩写）。EMMY创造出了许多令人信服的音乐，从巴赫的赞美诗、莫扎特的奏鸣曲到肖邦的玛祖卡，还有贝多芬的第十交响曲以及马勒的五幕歌剧。
美国学者侯世达拿EMI做了一次试验，纽约州罗切斯特市著名的伊士曼音乐学院，由一位钢琴家为他们演奏的两首曲子中，哪一首是肖邦不为人知的马祖卡舞曲，哪一首是EMI创造的乐曲。这些听众中还包含几位从事音乐理论和作曲研讨的教员。一位观众后来这样描述：“第一首马祖卡舞曲高雅且有魅力，但缺少‘真实肖邦式’的创造深度和更强的流畅性……第二首显然是真实的肖邦，有抒情的旋律，大幅的、美丽的半音阶转调，以及一种天然、平衡的方式。”并且许多听众都同意这位听众的观念，以为第一首是EMI的创造，而信任第二首是“真实的肖邦”。可是，正确答案恰恰是相反的。
2005年，科普销毁了EMI一切的音乐特征数据库。他的理由是：由于EMI能够如此简单地进行无限创造，评论家会因而轻视它的价值。科普以为，只有像哲学家玛格丽特博登（Margaret Boden）所写的那样，成为“有限之物，就像一切必死的人类作曲家那样”，EMI才会被珍视为作曲家。在那个年代音乐生成就已经这么令人信服了。
回过头来再聊几句ChatGPT，ChatGPT是根据大型言语模型的，ChatGPT让人惊喜是由于没想到大型言语模型（LLM,Large Language Model）作用能好成这样，就像古代的炼金师找到了一种新的组合相同，就像引力波被证明了存在相同，假如没有ChatGPT的作用，谁也不敢确保大模型能有这种作用。
魔法的收效来源于这种奇特的现象：呈现才干。深度学习在理论上的孱弱一向被诟病，但科学史上存在许多先有运用再有理论的事例，而其间不能解说的严重试验现象往往预示着理论立异的关键。咱们首先从现象出发，来看下LLM中最神秘的emergent ability，如图：
上图中x、y轴分别表明模型规划和模型作用。研讨员们至今无法给出令人信服的解说，为什么干流的大型模型在规划超越10^22级别后，作用会忽然大幅进步。这个问题十分重要，有或许搞清楚这个问题，就能终结寻求AGI路上的统计和符号的路线之争。
总结一下这一节，ChatGPT带来了什么影响：
- 给人们满足震慑，AI再次进入黄金期，招引本钱。上一年被裁一个做NLP搭档都开端做一向找不下工作的方案，现在一下貌似又好起来了。
- 发现了大模型的呈现现象，证明了大模型的作用可行。
4. ChatGPT的限制
本节咱们剖析下现在ChatGPT表现出来的限制性。虽然ChatGPT出色的上下文对话才干乃至编程才干，刷新了大众对人机对话机器人（ChatBot）的认知，从“人工智障”到“风趣”的形象改观，运用进程中咱们仍是发现ChatGPT技能依然有一些限制性，还需求不断的前进。
- ChatGPT在其未经许多语料练习的范畴缺少“人类常识”和引申才干，乃至会不苟言笑的“胡说八道”。ChatGPT在许多范畴开端不懂装懂，但当咱们寻求正确答案时，ChatGPT也有或许给出有误导的回答。例如第一节关于“侯世达”的答案；
- ChatGPT需求十分许多的算力来支撑其练习和布置。首先要有满足多的数据，其次还有有满足多的服务器，这些都是成本，这些服务器的成本是普通用户，乃至中小规划的公司无法承受的，即便数十亿个参数的模型在查找引擎的布置也需求惊人数量的计算资源才干运行和练习。所以彻底2C，开端运用到日子的方方面面，许多的请求会让人吃不消。当然已经有人计算过费用，接入查找引擎后成本比传统查找成本高不了太多，收益能够彻底cover，但总归是个不小的门槛；
- ChatGPT还无法在线的把新知识纳入其间，而有了新数据从头预练习GPT模型也是不现实的，所以模型更新是个问题。当然能够关于新知识采取在线练习的模式，看上去可行且语料成本相对较低，可是很简单由于新数据的引进而导致对原有知识的灾难性忘记的问题，就像咱们不经测验的代码上线会带来意想不到的毛病。
- ChatGPT依然是黑盒模型。现在仅仅找到了“呈现”的阈值，但还不知道为什么。并且现在还不能对ChatGPT的内涵算法逻辑进行分化，因而并不能确保ChatGPT不会产生进犯乃至伤害用户的表述。
- 跟第四个相似，合规相关的，会不会轻视，会不会引导违法，法令怎么去束缚智能，这些人工智能长时刻评论的点现在都没有答案。
- ChatGPT模型增长的限制：既然有呈现点，会不会有限制点？便是到达必定规划后作用再也不会增长，并且自身数据就存在必定限制性，优秀的数据那么多，再发掘也很难产生量级的数据，并且到达瓶颈后白费添加数据只会添加体系噪音，下降信噪比。
5. AGI有哪些硬性要求
从前史聊到ChatGPT的影响，又聊了ChatGPT的限制性，现在回归咱们文章的主题：从ChatGPT到AGI还有多远。
咱们先看看通用人工智能应该具有些什么，抛开“图灵测验”，终极方针以漂泊地球的MOSS作为规范：权衡决议方案、快速学习、打破范畴限制、拥有认识、又立异性才干等，终究是一个“超级智能体”。
再来聊一个更详细的工作：主动驾驭。美国国家公路交通安全办理局为车辆定义了6个主动等级：
- 1级：车辆能够偶然经过操控方向盘或车速来对人类驾驭员供给支撑，但不能同时进行。
- 2级：在某些情境下（通常是在高速公路上），车辆能够同时操控方向盘和车速。人类驾驭员有必要时刻坚持高度注意力，监控驾驭环境，并完结驾驭所需的其他行为，如变换车道、驶离高速公路、遇到红绿灯时泊车、为警车让行等。
- 3级：在某些特定情境下车辆能够履行一切的驾驭行为，可是人类驾驭员有必要随时坚持注意力，并随时预备在必要时收回驾驭操控权。
- 4级：在特定情境下，车辆能够完结一切的驾驭行为，人类不需求投入注意力。
- 5级：车辆能够在任何情境下完结一切驾驭行为。人类仅仅乘客，并且彻底不需求参与驾驭。
现在的主动驾驭到达哪个级别咱们很清楚，所谓通用，你能够把它想成一个人，一个聪明的人，一个超越聪明的人。
那么到底通用人工智能是远仍是近呢？DeepMind创始人之一沙恩莱格（Shane Legg）以为，超越人类水平的人工智能将在2025年左右呈现；谷歌公司战略委员会成员雷库兹韦尔（Ray Kurzweil）提出了令人震惊的“奇点理论”，他以为2029年彻底经过图灵测验（Turing test）的智能机器将会呈现，以强人工智能为根底的智能爆炸将会在2045年呈现，库兹韦尔当年预言打败人类专业象棋选手的机器呈现时刻是1998年，而深蓝提早一年完成了这个预言。可是从现在的情况看远没有那么达观，再看看第二节开展前史中麦卡锡和明斯基的反思。
6. 总结
本文从咱们之前触摸的“人工智障”为引子，介绍了人工智能开展前史中的一些重要头绪，接着介绍了ChatGPT及ChatGPT的限制性，剖析了要完成AGI需求的硬性条件，并且得出了相对悲观的定论。
最后再来聊一点关于AI未来给咱们带来的影响，比方人被代替，咱们会不会失业。咱们再次回顾前史，基本上每次AI的打破都会给人们带来恐慌。人类在过去100多年内至少阅历了三次严重革新：便是“老”“旧”“新”三次IT革新。当年，人们对老IT（工业技能）的忧虑远大于今天咱们对新IT（智能技能）的忧虑。在工业革命的发源地英国，纺织工业诱发“羊吃人”现象，女王忧虑机器的大规划运用将使她的臣民变成乞丐，民众更是揭竿而起，干脆一把火将机器烧了。
100多年前，杰文斯发现了一个规则：烧煤功率越高，耗煤量将会越大。这便是杰文斯悖论：技能前进能够进步天然资源的运用功率，但结果是添加而不是削减人们对这种资源的需求，由于功率的进步会导致生产规划的扩展，这会进一步刺激需求。
推广到更大的维度，这个定论依然成立：技能前进能够进步人力资源的运用功率，但结果是添加而不是削减社会对人力资源的需求，由于功率的进步将导致生产规划的扩展
科技是生产力，生产力是促进工作而不是削减工作。引证维纳说的“人有人用，机有机用”，人仍是有价值的。
可是科技的革新会带来职业的洗牌，或许有些职业的确面对消失，所以人能怎样办，拥抱变化吧！
本文正在参加 人工智能创造者扶持方案
