至于原因,一方面是大模型需求跳出扩展参数规划的范畴,另一方面受限于昂扬的练习本钱。
机器之心报导,修改:陈萍、杜伟。
近几个月来,OpenAI ChatGPT 的强壮生成式对话能力引发了人们对 AI 的新爱好和投资。随着国内外掀起类 ChatGPT 研制热潮,对话式 AI 及背后的大模型被更多人看好。
但上星期在 MIT 的视频发言中,OpenAI CEO Sam Altman 宣告了另一番言辞。他警告称,诞生 ChatGPT 的研究战略现已完毕。至于未来会在哪些方面呈现发展尚不清楚。
过去几年,OpenAI 经过采用现有机器学习算法并将它们扩展到以往无法幻想的规划,在与语言相关的人工智能范畴取得了一系列引人瞩目的发展。其间作为最新的发展,GPT-4 或许运用数万亿文本单词和数千个强壮的核算机芯片练习。
GPT-4 在语言、数学、编程、视觉、医学、法令和心理学等多种使命上都有超卓的表现。Sam Altman 却对此表明,让模型变得更大(比如巨型模型)将不会进一步带来新发展。
Sam Altman 的这番言辞表明,在开发和部署新 AI 算法的比赛中呈现了一个意想不到的转机。自上一年 11 月 ChatGPT 推出以来,微软运用底层技术在必应搜索中增加了根据它的谈天机器人,谷歌也推出 Bard 竞品。许多人急着测验运用新式谈天机器人协助完成工作或个人使命。
与此同时,包括 Anthropic、AI21、Cohere 和 Character.AI 在内众多资金雄厚的草创公司都投入大量资源构建规划更大的算法,以尽力追赶 OpenAI。
不过,Sam Altman 的话似乎预示着,GPT-4 或许是 OpenAI 研制更大模型并喂给它们更多数据这一战略的最终一个重大发展。这也能够从他亲身驳斥谣言 GPT-5 的相关传闻中看出一些端倪,他表明目前没有练习 GPT-5,短期内也不会练习。
在描绘 GPT-4 的论文中,OpenAI 预估扩展模型规划的收益将呈现递减。OpenAI 制作数据中心的数量以及制作速度也存在物理限制。
除了大模型规划和架构本身的原因,巨额花费也是一大原因。据报导,ChatGPT 需求至少 10000 个 GPU 进行练习,还需求更多资源保证继续运行。而英伟达专为 AI 和高性能核算规划的最新 H100 GPU 单价高达 30,603 美元,无疑本钱昂扬。Altman 亲身承认,GPT-4 的练习花费超过了 1 亿美元。
Cohere 的联合创始人(曾在谷歌从事 AI 工作)Nick Frosst 表明,Altman 的扩大规划并不能永久见效的观点听起来是对的。他也以为,Transformer(GPT-4 及竞品的核心机器学习模型类型)的发展现已超出了扩展范畴。除了向模型增加更多参数之外,还有许多其他办法能够使 Transformer 变得更好、更有用。
新的 AI 模型规划或架构以及根据人类反馈的进一步微调成为许多研究人员现已在探索的有远景的方向。
马斯克将 AI 项目命名为 TruthGPT
马斯克这边,尽管嘴上说忧虑 GPT-4 引发社会问题,并签署暂停开发比 GPT-4 更强壮的体系至少六个月。但实际情况却是马斯克正致力于新建一家人工智能草创公司 X.AI,与 OpenAI 直接展开竞赛。
据报导,马斯克现已从英伟达获取了上万块 GPU,这些体系为人工智能和高端图形处理等密集型使命所需的核算供给动力。
马斯克证实了有关他方案创立一家人工智能草创公司,与 ChatGPT 竞赛的报导。马斯克在承受福克斯采访时宣告了这项方案,并表明,「我将创立一种称为 TruthGPT 的人工智能渠道,或者说是一个最大极限地寻求真理的人工智能,能够了解宇宙的实质。我以为这或许是通往(AI)安全的最佳途径,从某种意义上说,一个关心了解宇宙的人工智能不太或许灭绝人类,由于咱们是宇宙中风趣的一部分。」
马斯克在采访中还表明,他信任人工智能具有毁灭文明的潜力,无论(其力气)多么小。
此前,马斯克于 2015 年与 OpenAI 现任 CEO Sam Altman 等人一起创立了 OpenAI,但马斯克于 2018 年离开了公司董事会。据了解,马斯克其时声明的原因是为了避免与特斯拉产生潜在的利益冲突,但后来马斯克表明还有其他原因,另一个原因是他不同意 OpenAI 团队在做的一些事情。
别的据 Semafor 3 月份报导,马斯克曾试图在 2018 年接任公司 CEO 一职,但在 Altman 和其他人拒绝后便离开了。
自从退出 OpenAI 董事会以来,马斯克再三批判 OpenAI。就在本年 2 月,他还表明现在的 OpenAI 底子不是他所希望的,并称 OpenAI 为微软操控的、闭源、赢利最大化的公司」。
面多马斯克的多次攻击,Altman 表明即便如此,自己仍将马斯克视为自己的偶像之一,并表明,「我信任马斯克的确对 AGI 安全感到压力,这是能够了解的。」
值得一提的是这不是马斯克第一次考虑打造 TruthGPT。他在 2 月从前发推说,咱们需求的是 TruthGPT。
关于 TruthGPT 的更多细节,马斯克没有透漏更多消息,咱们能够后续等待一波。
参阅链接:www.wired.com/story/opena…
venturebeat.com/ai/openai-c…