AI 隆冬曾造成机器学习和 AI 对齐之间的不合，上世纪 90 时代，AI 对齐范畴天马行空的幻想与机器学习的惨淡实际形成了鲜明对比，人们遍及对机器学习的开展持失望心情。自2010年以来，以深度神经网络为代表的 AI 技能飞速开展，AI 对齐随之成为被逐步重视的研讨方向。
AGI 是 AI 技能开展的终极目标，鉴于这项技能的深远影响，近期在旧金山举办的AI对齐论坛的演讲上，OpenAI 首席科学家 Ilya Sutskever 指出，促进人们形成关于 AI 对齐与机器学习的一致，将 AGI 安全归入机器学习的干流方向非常必要。他还称，通用人工智能和超级智能很有或许在咱们有生之年完成，完成巨大的变革，咱们不该局限于现有观念，对其潜力设限。
（以下内容由OneFlow编译发布，转载请联络授权。原文：
www.youtube.com/watch?v=OPZ…
作者 | Ilya Sutskever
OneFlow编译
翻译｜杨婷、宛子琳
现在，AI 范畴开展敏捷，通用人工智能（AGI）已不再是天方夜谭。
现在，我先弥补一些相关布景常识，以帮助咱们了解当前状况的成因。AI 对齐和机器学习一直在研讨相关问题，但直到最近，它们才开端有了交集。
1
AI 对齐与机器学习
AI 对齐和 AGI 安全的来源能够追溯到前期的科幻文学。其时人们还能够任意发挥幻想力，没有遭到如今的技能约束。人们会考虑如下问题：“假如咱们具有一个满足强壮的 AI 体系，它能够履行研讨、科学、工程和技能等使命，能够进行 AI 研讨、编程和芯片规划，而且还能将上述才能整合到一起进行办理，那将产生什么？”
抚躬自问，咱们或许会得出这样一个答案：那将会导致重大变革。随之而来的问题自然是：如此强壮的 AI 似乎也会带来许多应战，作为普通人，咱们应该怎么更好地运用 AI？这就是 AI 对齐诞生的原因。
机器学习范畴也有着类似的科幻来源。在1940时代和1950时代，一些有远见的科学家开端考虑以下问题，比如：什么是智能？大脑是怎么运作的？咱们能否在核算机上构建大脑？是否能够创造出人工神经网络？核算机能够进行学习吗？对于以上问题，其时的研讨人员非常乐观，他们相信人类水平的 AI 将在五年内完成。
2
AI 隆冬
但事实证明他们错了，随后 AI 隆冬到来，造成了机器学习和 AI 对齐之间的不合。AI 隆冬的后果是什么？它阻止了机器学习的开展，使人们对机器学习的开展前景变得失望而失望。
其时，核算机的运行速度非常缓慢，在这种状况下，机器学习难以获得任何成就，传统的符号 AI 成为仅有可用的 AI，在 70、80 甚至 90 时代，符号 AI 主导了 AI 范畴。在核算机如此缓慢的状况下，符号 AI 是仅有的选择。这种状况给 AI 范畴造成了极大伤口，人们对 AI 的开展遍及持失望心情。其时，AI 要获得前进是一件非常困难的事，因而，任何前进都值得赞扬。
人们对 AI 的失望心情继续了很长时刻，即便到了2010时代初期，这时前期深度学习已在视觉和语言等多个使命上获得了开展，但人们对 AI 的失望心情却仍在继续。我也是失望者之一，在我看来，尽管 AI 已经开展到了必定程度，但这些都是暂时的，开展必定会阻滞，AI 隆冬终将卷土重来。
上述状况导致了 AI 范畴的各奔前程，由此形成了 AI 对齐和机器学习两个范畴。在 AI 对齐范畴，人们能够纵情发挥幻想力，就超级智能和 AI 提出最大胆的问题，幻想 AI 在何种状况下会变得更好或更糟。而机器学习尽管对神经网络和一些之前的效果（如支撑向量机）非常了解，但它只能牵强分类分辨率很低的数字。
面对这两种天壤之别的状况，人们自然无法将 AI 对齐和机器学习联络在一起，AI 对齐似乎太过张狂，与机器学习的实际差异太大。但上述看法只适用于 90 时代或上世纪初，现在已经过期。
众所周知，AI 在 2010 时代获得了飞速开展，在视觉辨认、翻译、摘要生成、游戏对战以及围棋等范畴获得了惊人效果，此外，图像生成、聊天机器人等技能也逐步成为实际。AI 近年来的开展好比是一辆高性能轿车，从 0 码提速到 60 码只需两秒。
上面这张漫画在 Twitter 上经常出现，生动地描绘了机器学习的现状：要么开展过慢，要么开展过快，中间只要短暂的过渡，就像美国东海岸的夏天。
3
让 AGI 安全成为干流
现在，通用人工智能（AGI）不再是一个暗淡无光的词汇。阿瑟C克拉克（Arthur C. Clarke）在他的《未来的概括（Profiles of the Future）》一书中讨论了原子能、火箭和航天飞翔三个重要的技能革命。在每个技能革命获得打破前不久，总会有专家以坚决的口吻宣称该技能是不切实际的，永久不行能成为实际。
现在，AGI 也面对着类似的状况，这种现象非常风趣。尽管 AGI 在某些方面仍然有着令人难以幻想的当地，但它正在逐步变为实际。消除或进一步减少《未来的概括》中描绘的一个问题是：幻想力缺失。正是因为缺乏幻想力，上述专家才敢断语那些技能革命不会成为实际。幻想力的匮乏导致他们在某些方面过度自信。然而，现在有大量依据标明，AI 已今非昔比，但在许多方面，咱们仍遭到幻想力的约束。
期望咱们能处理上述问题，使咱们能够迈出坚决的步伐，将 AGI 安全归入机器学习的干流方向。
机器学习范畴有众多研讨人员，将 AGI 安全归入机器学习干流能带来更多好处。咱们应该将 AGI 安全与根底战略相结合，那么为什么要关注根底战略？
4
对齐为何重要？
首先是对齐。许多机器学习范畴的人或许还没有触摸过与对齐相关的概念。从根底层面动身，咱们将讨论对齐面对的问题和应战。即便不涉及具体的处理方案，对上述问题的讨论本身就很有价值。
我想花几分钟时刻提出几点证明，以强调对齐的重要性。在机器学习范畴，人们或许会问，咱们一直都能让人工智能体系依照咱们的志愿工作，为什么这会产生改动呢？
接下来，咱们将探究不同的 AI 范式，并讨论为何对齐或许会变得更难或更简略。
在监督学习中，咱们运用由人类标示者生成的数据集进行练习，在语音辨认中，咱们运用人类标示者对语音进行标示；在机器翻译中，有人类译员对语音进行翻译；在视觉辨认中，咱们会练习神经网络来模仿由这些数据产生的行为。
在这些状况下，数据了解对咱们来说相对简略。咱们对这些数据有许多见地，因而，当咱们运用已充分了解的数据进行监督学习时，能够不用太忧虑练习成果。
无监督学习
无监督学习与上述状况有所不同，原因如下：当咱们在大量互联网数据上对神经网络进行预练习时，咱们知道神经网络获得了一些与语言和国际相关的常识。然而，咱们对它们所学常识的了解相对有限，不能确认它们究竟学到了什么。
因为咱们对神经网络的行为了解较少，难以让神经网络完成咱们所期望的行为。实证标明，这些模型仍然存在假造内容的状况。这一点很重要，假如这一点微乎其微，模型就不会假造内容。
因而，与简略的监督学习中的语音辨认、核算机视觉等使命不同，无监督学习面对着新的困难，这些困难或许以一种出其不意的方式给咱们感到惊讶。
这一点在 Sydney（微软 Bing 搜索的生成式 AI 聊天机器人）上体现尤为显着。Sydney 具有丰富的特性，这并不完全符合 Bing 创建者的最初意图。在实际国际中，有更多的经历依据标明，一旦开端无监督学习，状况就会变得更为复杂。
当然，问题的关键在于，AI 体系的性质以及对齐的难易程度会跟着范式的改动而改动。第二个范式是强化学习。
强化学习
如今，强化学习已成为正在构建的聊天机器人中不行或缺的一部分。在预练习之后，会启动强化学习阶段，经过某种（或一组）奖赏函数进行练习。或许咱们能够经过机器学习来具体说明。
在某种程度上，咱们的确能够做到这一点，而且还能获得不错的效果，尽管咱们的确会遇到前期对齐考虑者假定的过度优化问题。例如，优化奖赏函数或者优化从人类教师那里学到奖赏模型或许会非常简略，但咱们也很简略就会学到一些意料之外的东西。强化学习的进程非常复杂，事实上，强化学习还具有必定的创造性。
尽管咱们能够快速处理过度优化问题，但强化学习面对着更为关键的应战：创造性。在 AI 范畴，每一个令人惊叹的创新都源自于强化学习。
例如，AlphaZero 经过强化学习发明晰一种全新的游戏战略，人类打磨完善这个游戏已经有数千年。强化学习能够针对问题提出创造性的处理方案，而这些方案或许是咱们所无法了解的。
假如 AI 在与实在国际进行互动时，同时以咱们以为有利的成果为目标，并展示出极高的创造力，那么在中长期时刻跨度上进行强化学习，会带来怎样的成果？
这个问题的确存在，但并不意味着它无法处理。事实上，这标明一些相对简略的方法或许会遭到一些出其不意的创造性影响，使得 Sydney 的“花招（antics）”变得入情入理。
5
AGI 与超级智能
最终，让咱们纵情打开幻想，来讨论通用人工智能这一终极目标。当你编程的 AI 输出了成千上万行的代码时，会产生什么？这将是一个庞大程序。你能够进行一些单元测试，甚至能够与这个程序交互。
这是一个全新的、亟待处理的问题，即确保 AI 体系输出的十万行代码内部不包含任何可疑内容。咱们期望尽力操控这些代码的生成进程。然而，这也带来了另一个全新应战。
这个问题并不简略。当咱们无法了解 AI 的输出，而且它具有强壮的创造力及实际行动才能时，练习 AI 或了解其行为并不简略。
现在，幻想一下，假如你具有一个能够办理一家公司或实验室的 AI，会产生什么？
最终一个问题有关诈骗（deception），顺便提一下，这对于那些有严厉的机器学习布景的人来说是一个更风趣的主意。假如有这样一个人工智能，它非常智能，在练习进程中展示出了高明的医疗才能，但实际上，这个 AI 更想成为一名 YouTuber（视频号博主），这时会产生什么？
6
结语
总的来说，通用人工智能和超级智能有或许出现，而且或许将在短期内完成。 尽管很难给出确切时刻点，但相关开展的确开展得非常敏捷，因而咱们不应该局限于现有观念，不应该对其潜力设限。
AGI 将产生极端巨大（Mega gigantic）的影响，实际上，“极端巨大”仅仅 AGI 影响力的保存下限罢了。面对这样一项影响深远的技能，谁也无法猜测接下来会产生什么，全部皆有或许。
话虽如此，但至少在技能层面上，咱们能够提供必定的确保，确保问题是出在人类操作上，而不是出在技能本身的行为上。这是咱们能够追求的一个相对较低的基本目标。
当前的一个具体目标是，我期望让更多的人对 AI 对齐和机器学习有一个愈加一致的知道。现在，这两种主意或许存在一些脱节之处，将它们联络起来并赋予愈加完整的内在具有非常重要的含义。这是我关于 AI 的未来愿景，期望经过讨论、沟通等活动，这一愿景终能成为实际。
欢迎 Star、试用 OneFlow 最新版本：
github.com/Oneflow-Inc…
