眼下 OpenAI 面对的最大问题是「缺芯」。
从 ChatGPT 问世以来，大模型和 AI 技术就引起全世界的广泛关注。一方面，人们惊叹于大模型的出现能力，另一方面又对人工智能的可控性及未来开展发生担忧。本年已有包括图灵奖得主 Geoffrey Hinton、Yoshua Bengio 在内的 AI 领域专家等许多业内人士屡次联合正告 AI 大模型将引发一系列风险，乃至有人呼吁叫停 GPT-4 后续 AI 大模型的研制。
OpenAI 作为 ChatGPT、GPT-4 等大模型背面的公司，无疑被推上了风口浪尖。OpenAI 的 CEO Sam Altman 近期正在全球巡回讲演，旨在消除人们对人工智能的「惊骇」，并听取 OpenAI 产品的开发人员和用户的定见。
据《Fortune》报导，5 月 Sam Altman 与一些开发人员和初创公司创始人闭门会面，并讲述了 OpenAI 的路线图和面对的挑战。这场闭门会的参与者之一 ——Humanloop 的联合创始人兼 CEO Raza Habib 最近在一篇博客中提及了 OpenAI 的产品规划和开展瓶颈。
原博客现已删去，但有网友上传了博客快照（副本），咱们来看一下博客的具体内容：
OpenAI 现在面对的最大问题是受限于 GPU
现在 OpenAI 面对十分严峻的 GPU 约束，这也延迟了他们一些短期计划的实施。近来，客户投诉最多的是关于 API 的可靠性和速度问题。Sam 承认了这个问题，并解说说客户诉苦的大部分问题是由于 GPU 短缺造成的。
在处理文本方面，更长的 32k 上下文还不能面向更多人推出。现在 OpenAI 还没有彻底克服注意力机制的 O (n^2) 扩展问题，虽然 OpenAI 似乎很快就能实现 100k-1M token 上下文窗口（在本年内）文本处理，但更大的文本处理窗口需求进一步的研究突破。
不仅如此，现在，微调 API 也遭到 GPU 供给的约束。OpenAI 没有运用像 Adapters 或 LoRa 这样的高效微调办法，因而微调运转和办理起来核算都十分密布。Sam 透漏更好的微调技术将在未来推出，他们乃至或许供给一个社区专门研究模型。
此外，专用容量供给也遭到 GPU 供给的约束。OpenAI 还供给专用容量，为客户供给一个私有的模型副本。要运用此服务，客户必须愿意预先承诺开销 10 万美元。
OpenAI 的近期路线图
在交谈中，Sam 共享了 OpenAI API 的近期路线图，首要分两个阶段：
2023 的路线：
- OpenAI 的首要任务是推出更便宜、更快的 GPT-4—— 总的来说，OpenAI 的方针是尽或许地下降智能成本（the cost of intelligence），因而跟着时刻的推移，API 的成本将会下降。
- 更长的上下文窗口 —— 在不久的将来，上下文窗口或许高达 100 万个 token。
- 微调 API—— 微调 API 将扩展到最新的模型，但其切当方式将由开发人员决定。
- 状况 API—— 现在调用谈天 API 时，你必须重复地经过相同的会话历史，并一次又一次地为相同的 toke 进行支付。将来版本的 API 可以记住会话历史记录。
- 2024 年路线：
- 多模态 —— 这是作为 GPT-4 版本的一部分进行演示的，但在更多 GPU 上线之前不能扩展到所有人。
插件没有 PMF，也不会很快出现在 API 中
许多开发人员都对经过 API 访问 ChatGPT 插件感兴趣，但 Sam 说他认为这些插件短期内不会发布。除了阅读之外，插件的运用表明他们还没有 PMF。Sam 指出，许多人希望自己的应用程序坐落 ChatGPT 之内，但他们真正想要的是应用程序中的 ChatGPT。
除了与类 ChatGPT 竞赛外，OpenAI 将防止与其客户竞赛
许多开发者表明，当 OpenAI 发布新产品时，他们对运用 OpenAI API 构建的应用程序感到严重，由于 OpenAI 终究或许会发布与他们竞赛的产品。Sam 表明 OpenAI 不会发布 ChatGPT 之外更多的产品。他说有许多伟大的渠道公司都有一个杀手级的应用程序，ChatGPT 将允许他们经过成为自己产品的客户来使 API 更好。ChatGPT 的愿景是成为一个超级智能的作业帮手，但 OpenAI 不会涉足许多其他 GPT 的用例。
监管是必要的，但开源也是必要的
虽然 Sam 建议对未来的模型进行监管，但他并不认为现有的模型存在风险，并认为对它们进行监管或禁止将是一个巨大的过错。他再次强调了开源的重要性，并表明 OpenAI 正在考虑开源 GPT-3。OpenAI 之所以迟迟未能开源的部分原是由于他们觉得没多少人和公司有能力妥善办理如此大型的语言模型。
扩展规律依然存在
最近许多文章都宣称「巨型人工智能模型的年代现已结束」。Sam 表明这并没有准确地表达他的意思。
OpenAI 的内部数据显示，扩展规律依然建立，而且增大模型的规划将继续提高性能。然而，模型的规划无法一直依照相同的份额增加，由于在短短几年内，OpenAI 现已使模型规划增大了数百万倍，继续这样做将不行持续。但这并不意味着 OpenAI 将中止努力使模型变得更大，而是意味着它们或许每年增加一倍或三倍的规划，而不是呈几个数量级的增加。
扩展模型依然有用，这一事实对 AGI 的开展具有重要意义。扩展规划的理念是，咱们或许现已有构建 AGI 所需的大部分要素，而剩下的大部分作业将选用现有的办法，并将它们扩展到更大的模型和更大的数据集上。如果模型扩展年代现已结束，咱们抵达 AGI 的时刻将会更久。扩展规律依然适用的事实暗示着咱们会用更短的时刻实现 AGI。
参考链接：
web.archive.org/web/2023060…
