来历 | 华尔街见识
作者 | 葛佳明
6月10日，OpenAI创始人Sam Altman以视频连线的办法现身于我国北京举办的2023智源人工智能大会，这是Altman初次对我国观众宣布讲演。 Altman在讲演中引用了《道德经》，谈及大国协作，表示AI安全始于足下，各国间有必要进行协作和协调。随后Altman接受了智源研讨院理事长张宏江的一对一问答。张宏江博士现在任北京智源人工智能研讨院理事长，一起担任多家公司的独立董事和顾问。曾任金山集团履行董事及首席履行官兼金山云的首席履行官，是微软亚洲研讨院创始人之一，曾担任副院长、微软亚太研制集团（ARD）首席技能官及微软亚洲工程院（ATC）院长以及微软“出色科学家”。加盟微软之前，张宏江曾任美国硅谷的惠普实验室任司理；此前还在新加坡国立大学体系科学研讨院作业。Altman讲演核心内容：
当下人工智能革命影响如此之大的原因，不仅在于其影响的规划，也是其发展的速度。这一起带来盈利和危险。跟着日益强壮的 AI 体系的呈现，全球协作的重要性从未如此之大。在一些重要的大事上，各国间有必要进行协作和协调。推动 AGI 安满是咱们需求找到一起利益点的最重要的范畴之一。 对齐仍然是一个未处理的问题。GPT-4 花了八个月的时刻完成对齐方面的作业。但相关的研讨还在升级，首要分为扩展性和可解说性两方面。
问答环节核心内容：
十年内人类将具有强壮的人工智能体系（AI System）。 OpenAI没有相关的新的有关开源的时刻表，开源模型具有优势，但开源全部或许并不是一条（促进AI发展的）最佳路线。看理解神经网络比看理解人类脑子简单多了。在某个时分，会测验做GPT-5的模型，但不会是很快。不知道详细GPT-5呈现的时分。 AI安全需求我国研讨者的参加和奉献。
注：“AI对齐”是AI操控问题中的最首要的问题，即要求AI体系的目标要和人类的价值观与利益相对齐（保持一致）。
Sam Altman讲演内容：
跟着日益强壮的人工智能体系的呈现，全球协作的赌注从未如此之高。
假如咱们不小心，一个旨在改善公共卫生结果的错位的人工智能体系，或许会供给没有根据的主张，从而打乱整个医疗保健体系。相同，为优化农业生产而规划的人工智能体系或许会无意中耗尽自然资源或损坏生态体系，由于缺少对影响粮食生产的长期可持续性的考虑，这是一种环境平衡。
我期望咱们都能同意，推动AGI安满是咱们需求一起尽力，寻找共性的最重要范畴之一。
我发言的其余部分将会集在咱们能够从哪里开始：1.第一个方面是AGI管理，AGI从根本上成为了改变咱们文明的强壮力量，着重了有意义的国际协作和协调的必要性。每个人都会从协作管理办法中获益。假如咱们安全、负职责地驾御这条道路，AgI体系能够为全球经济发明无与伦比的经济繁荣，处理气候变化和全球健康安全等一起应战，并进步社会福祉。
我也深深地信任在未来。咱们需求在AGI安全方面进行出资，才能到达所想要达到的当地，并在那里享用它。
要做到这样咱们需求细心协调。这是一项具有全球影响力的全球技能。不计后果的开发和部署所形成的事端本钱将影响到咱们全部人。
国际协作中，我以为有两个关键范畴是最重要的。
首要咱们需求树立国际标准和标准，并留意进程中重视包容性。在任何国家运用 AGI 体系，都应相等而一致地遵从这样的国际标准和标准。在这些安全护栏内，咱们信任人们有满足的时机做出自己的挑选。
第二，咱们需要国际协作，以可核查的办法树立对安全开发日益强壮的 AI 体系的国际间信赖。我并不梦想这是一件简单的事，需求投入许多和持续的关注。
《道德经》告知咱们：千里之行，始于足下。咱们以为，在这方面最具建设性的第一步是与国际科学和技能界协作。
需求着重的是，咱们应该在推动技能进步这一方面添加透明度和知识同享的机制。在AGI安全方面，发现新呈现的安全问题的研讨人员们应该为了更大的利益共享他们的见地。
咱们需求细心思考怎样在鼓励这种标准的一起，也尊重和维护知识产权。假如咱们这样做，那么，它将为咱们深化协作打开新的大门。
更广泛地来讲，咱们应该出资于促进和引导对AI对齐和安全的研讨。
在Open AI，咱们今日的研讨首要会集在技能问题上，让AI在咱们现在的体系中充当一个有协助且更安全的角色。这或许也意味着，咱们练习ChatGPT的办法，使其不做出暴力要挟或帮忙用户进行有害活动的举措。
但跟着咱们日益挨近 AGI 的年代，没有对齐的 AI 体系的潜在影响力和影响规划将成倍增长。现在积极主动地处理这些应战，能将未来呈现灾难性结果的危险降到最低。
关于现在的体系，咱们首要运用人类反馈进行强化学习来练习咱们的模型，使其成为一个有协助的安全帮手。这只是各种练习后调整技能中的一个比如。而且咱们也在尽力研讨新的技能，其间需求许多艰苦的工程作业。
从 GPT4 完成预练习到咱们部署它，咱们专门花了 8 个月的时刻来进行对齐方面的作业。总的来说，咱们以为咱们在这方面做得很好。GPT4 比咱们曾经的任何模型都愈加与人类对齐。
可是，关于更先进的体系，对齐仍然是一个未处理的问题，咱们以为这需求新的技能办法，一起增强管理和监督。
关于未来的AGI体系，它提出了10万行二进制代码。人类监督者不太或许发现这样的模型是否在做一些凶恶的作业。所以咱们正在出资一些新的、互补的研讨方向，期望能够实现突破。
一个是可扩展的监督。咱们能够测验运用人工智能体系来帮忙人类监督其他人工智能体系。例如，咱们能够练习一个模型来协助人类监督发现其他模型的输出中的缺点。
第二个是解说才能。咱们想测验更好地了解这些模型内部产生了什么。咱们最近宣布了一篇论文，运用 GPT-4 来解说 GPT-2 中的神经元。在另一篇论文中，咱们运用 Model Internals 来检测一个模型何时在扯谎。咱们还有很长的路要走。咱们信任，先进的机器学习技能能够进一步进步咱们解说的才能。
最终，咱们的目标是练习 AI 体系来协助进行对齐研讨。这种办法的好处在于，它能够跟着 AI 的发展速度而扩展。
取得 AGI 带来的非凡好处，一起下降危险，是咱们这个年代的开创性应战之一。咱们看到我国、美国以及国际各地的研讨人员有很大的潜力来一起实现同一个目标，并致力于尽力处理 AGI 对齐带来的技能应战。
假如咱们这样做，我信任咱们将能够运用 AGI 来处理国际上最重要的问题，并极大地改善人类的日子质量。十分感谢。
以下为对话实录：
未来十年咱们会有十分强壮的AI体系
智源研讨院理事长张宏江提问：咱们距离通用人工智能（AGI）还有多远？危险是不是很急迫，仍是咱们离它还很悠远？
Sam Altman：这很难评估详细时刻。很或许未来十年咱们会有十分强壮的AI体系，新技能从根本上改变国际的速度比咱们幻想的快。在那样的国际里，我以为把这件事（AI安全规矩）做好是重要且急迫的，这便是为什么我呼吁国际社会一起尽力的原因。
从某种意义上说，咱们现在看到的新技能的加快和体系的影响是史无前例的。所以我以为要为行将产生的作业做好预备，并了解有关安全的问题。考虑到AI规划巨大，这其间的利害关系适当重要。
我国、美国和其他国家以及欧洲这三个首要集团是人工智能立异背面的驱动力，在你看来，在AGI安全这个范畴中，不同国家分别又有什么优势来处理这一问题，特别是处理人工智能安全问题。怎样将这些优势结合到一起？
全球协作为AI提出安全标准和结构
张宏江：您刚才在前期的介绍中也说到了几回，正在进行全球协作。咱们知道，在曩昔国际面临着适当多的危机。不知何故，对他们中的许多人来说，咱们设法树立了共识，树立全球协作。你也在进行一次全球巡演，你正在尽力推动怎样的全球协作？
Sam Altman：是的，我对到现在为止大家的反应和回答都十分满意。我以为人们十分细心地对待AGI的危险和机遇。
我以为在曩昔的6个月里，关于安全的评论现已取得了适当大的发展。人们似乎真的致力于找出一种结构，让咱们能够享用这些好处，一起在全球范围内一起尽力下降危险。我以为咱们十分适合做这件事。全球协作总是困难的，但我以为这是一种将国际联合在一起的时机和要挟。咱们能够为这些体系提出一个结构和安全标准，这将十分有协助。
人工智能的对齐问题怎样处理
张宏江：你说到先进人工智能的对齐是一个没有处理的问题。我还留意到OpenAI在曩昔的几年里付出了许多尽力。你说到GPT-4是迄今为止在对齐范畴最好的比如。你以为咱们能够只是通过微调(API)来处理AGI的安全问题吗？或许比这个问题的处理办法要困难得多？
Sam Altman：我以为对齐这个词有不同的理解办法。我以为咱们需求处理的是整个人工智能体系中的应战，传统意义上的对齐——让模型的行为契合用户的意图，当然是其间的一部分。
但还会有其他问题，比如咱们怎样验证体系正在做什么，咱们期望它们做什么，以及咱们怎样调全体系的价值。最重要的是要看到AGI安全的全体状况。
假如没有技能处理方案，其他全部都很难。我以为会集精力保证咱们处理安全方面的技能问题是十分重要的。正如我所说到的，弄清楚咱们的价值观是什么，这不是一个技能问题。虽然它需求技能投入，但这是一个值得全社会深化评论的问题。咱们有必要规划公平、具有代表性和包容性的体系。
张宏江：针对对齐，咱们那看到GPT-4所做的，仍然是从技能的视点出发的处理方案。但除了技能之外，还有许多其他因素，且往往是体系性的。人工智能安全在这里或许也不例外。除了技能方面，还有哪些因素和问题？你以为对人工智能安全至关重要吗？咱们应该怎样应对这些应战？尤其是咱们大大都人都是科学家。咱们应该做什么。
Sam Altman：这无疑是一个十分复杂的问题。但假如没有技能处理方案，其他全部都很难处理。我以为会集精力保证咱们处理安全方面的技能问题是十分重要的。正如我所说到的，弄清楚咱们的价值观是什么，这不是一个技能问题。它需求技能投入，但这一起也是一个值得全社会深化评论的问题。咱们有必要规划公平、具有代表性和包容性的体系。
而且，正如你所指出的，咱们需求考虑的不只是是人工智能模型拉动自身的安全性，而是整个体系。
因此，能够构建在体系上运行的安全分类器和检测器很重要，它们能够监控AI是否契合运用策略。我以为很难提早预测任何技能会呈现的全部问题。因此，从实际国际的运用中学习，并重复部署，看看当你真正发明实际并改进它时会产生什么。
让人类和社会有时刻学习和更新，并思考这些模型将怎样以好的和坏的办法与他们的日子互动，这也很重要。
需求各国一起协作
张宏江：早些时分，你说到了全球协作。你一直在环游国际，我国、美国和以及欧洲等各国都是人工智能立异背面的驱动力，在你看来，在AGI中，不同国家分别有哪些优势来处理AGI问题，特别是处理人安全问题。怎样将这些优势结合到一起？
Sam Altman：我以为一般需求许多不同的视角和人工智能安全。咱们还没有得到全部的答案，这是一个适当困难和重要的问题。
此外，正如所说到的，这不是一个纯粹的技能问题，使人工智能安全和有益的。触及在十分不同的布景下了解不同国家的用户偏好。咱们需求许多不同的投入才能实现这一目标。我国具有一些国际上最优异的人工智能人才。从根本上说，我以为，考虑到处理高级人工智能体系对齐的困难，需求来自国际各地的最好的脑筋。所以我真的期望我国的人工智能研讨人员在这里做出巨大的奉献。
需求十分不同的架构使得AGI更安全
张宏江：关于GPT-4和AI安全的后续问题。咱们是否有或许需求更改AGI模型的整个基础架构或整个体系结构。为了让它更安全，更简单被检查.
Sam Altman：无论是从功能视点仍是从安全视点来看，咱们的确需求一些十分不同的架构，这是完全或许的。
我以为咱们将能够取得一些发展，在解说咱们现在各种模型的才能方面取得杰出发展，并让他们更好地向咱们解说他们在做什么以及为什么。可是，是的，假如在Transformer之后有另一个巨大的腾跃，我不会感到惊奇。自从最初的Transformer以来，咱们现已改变了许多架构。
OpenAI开源的或许性
张宏江：我理解今日的论坛是关注AI安全的，由于人们对OpenAI很猎奇，所以我有许多关于OpenAI的问题，不只是是AI安全。我这里有一个观众的问题是，OpenAI有没有方案重新开源它的模型，就像在3.0版本之前那样？我也以为开源有利于AI安全。
Sam Altman：咱们有些模型是开源的，有些不是，但跟着时刻的推移，我以为你应该期待咱们将来会持续开源更多的模型。我没有一个详细的模型或时刻表，但这是咱们现在正在评论的作业。
张宏江：BAAI将全部的尽力都变成开源，包括模型和算法自身。咱们信任，咱们有这种需求，共享和给予，你一个他们在操控感知。请问你有类似的观念吗，或许在你的同龄人或OpenAI的同事中评论过这些论题。
Sam Altman：是的，我以为开源在某种程度上的确有一个重要的效果。
最近也有许多新的开源模型呈现。我以为API模型也有一个重要的效果。它为咱们供给了额定的安全操控。你能够阻止某些用途。你能够阻止某些类型的微调。假如某件作业不起效果，你能够回收它。在当前模型的规划下，我不太担心这个问题。可是跟着模型变得像咱们期望的那样强壮，假如咱们对此是正确的，我以为开源全部或许不是最佳路径，虽然有时分它是正确的。我以为咱们只需求细心地平衡一下。
咱们未来会有更多开源大模型，但没有详细模型和时刻表。
AGI的下一步方向？会很快看到GPT-5吗？
张宏江：作为一个研讨人员，我也很猎奇，下一步的AGI研讨方向是什么？在大模型、大言语模型方面，咱们会不会很快看到GPT-5？下一个前沿是不是在具身模型上？自主机器人是不是OpenAI正在或许预备探究的范畴？
Sam Altman：我也很猎奇下一步会产生什么，我最喜欢做这项作业的原因之一便是在研讨的前沿，有许多令人兴奋和惊奇的作业。咱们还没有答案，所以咱们在探究许多或许的新范式。当然，在某个时分，咱们会测验做一个GPT-5模型，但不会是很快。咱们不知道详细什么时分。咱们在OpenAI刚开始的时分就做过机器人方面的作业，咱们对此十分感兴趣，但也遇到了一些困难。我期望有一天咱们能够回到这个范畴。
张宏江：听起来很棒。你在讲演中也说到了你们是怎样用GPT-4来解说GPT-2的作业原理，从而使模型更安全的比如。这种办法是可扩展的吗？这种方向是不是OpenAI未来会持续推动的？
Sam Altman：咱们会持续推动这个方向。
张宏江：那你以为这种办法能够应用到生物神经元上吗？由于我问这个问题的原因是，有一些生物学家和神经科学家，他们想学习这个办法，在他们的范畴里研讨和探究人类神经元是怎样作业的。
Sam Altman：在人工神经元上观察产生了什么比在生物神经元上简单得多。所以我以为这种办法关于人工神经网络是有用的。我以为运用更强壮的模型来协助咱们理解其他模型的办法是可行的。但我不太确认你怎样把这个办法应用到人类大脑上。
操控模型数量可行吗
张宏江：好的，谢谢你。已然咱们谈到了AI安全和AGI操控，那么咱们一直在评论的一个问题是，假如这个国际上只要三个模型，那么会不会更安全？这就像核操控相同，你不想让核武器扩散。咱们有这样的条约，咱们试图操控能够取得这项技能的国家数量。那么操控模型数量是不是一个可行的方向？
Sam Altman：我以为关于国际上有少数模型仍是大都模型更安全，有不同的观念。我以为更重要的是，咱们是否有一个体系，能够让任何一个强壮的模型都通过充沛的安全测验？咱们是否有一个结构，能够让任何一个发明出满足强壮的模型的人，既有资源，也有职责，来保证他们发明出的东西是安全和对齐的？
张宏江：昨日在这个会议上，MIT未来生命研讨所的Max教授说到了一种或许的办法，便是类似于咱们操控药物开发的办法。科学家或许公司开发出新药，你不能直接上市。你有必要通过这样的测验进程。这是不是咱们能够学习的？
Sam Altman：我肯定以为，咱们能够从不同行业发展出来的许可和测验结构中学习许多东西。但我以为从根本上说，咱们现已有了一些能够奏效的办法。
张宏江：十分感谢你，Sam。谢谢你抽时刻来参加这次会议，虽然是线上的。我信任还有许多问题，但考虑到时刻，咱们不得不到此为止。期望下次你有时机来我国，来北京，咱们能够有更深化的评论。十分感谢你。
