自 ChatGPT 发布以来，AI 范畴的技能、产品和创业生态简直在以周为单位迭代。OpenAI 作为这次 AI 热潮的导火线和职业现实的抢先者（且或许长时间坚持），对职业生态有广泛和深远的影响。
本文从 OpenAI 的 AGI 愿景动身，首要剖析了在该愿景的驱动下 OpenAI 是怎么一步步依据 Scale、Generative Model 两个重要技能判别构成了咱们所能观察到的 LLM 打开道路，并对此技能道路的底层逻辑进行了剖析；在对愿景和技能选型剖析的根底上，陈述将 OpenAI 的前史行为与此技能道路进行了拟合，测验解说了许多让人困惑的前史行为，并更进一步对其未来的行为进行了推演；最终陈述对依据大模型的生态和工业链的打开给出了自己的剖析并提出了一些供咱们考虑的问题。
这是咱们对 OpenAI 进行全面、体系、深度逆向工程后的产物，供给了一种从底层愿景动身来剖析 OpenAI 前史行为和未来举动猜测的一同视角，期望可以对国内正在从事大模型研讨、开发、出资的作业者们带来协助。
一、OpenAI 的 AGI 愿景和对 GPT 技能途径的坚持
1 OpenAI 的 AGI 愿景
在开端剖析前，咱们将 OpenAI 不一同期对自己 AGI 方针的描绘进行回顾：
“Our goal is to advance digital intelligence in the way that is most likely to benefit humanity as a whole， unconstrained by a need to generate financial return.”——2015年12月11日《Introducing OpenAI》
“Our mission is to ensure that artificial general intelligence—AI systems that are generally smarter than humans—benefits all of humanity.”——2023年2月14日《Planning for AGI and beyond》
第一个改动是添加了对 AGI 的描绘，指明晰 AGI 的才智程度会高于人类智能。
第二个改动是由不以财务报答为意图改为了普惠人类。
AGI 的概念现在并没有已构成一致的精准界说。前者改动是 OpenAI 依据曩昔几年的探究给出的判别，其寻求 AGI 的实质没有改动。后者则是 OpenAI 在更深化的技能探究后，进行了股权结构和商业化战略的调整，背面逻辑后续会详细打开。
整体而言，鉴于 OpenAI 的前史言论和举动坚持高度一致性，咱们有理由信任：OpenAI 一向并将继续以寻求普惠的 AGI 为第一方针——这个假设是本文后续进行生态推演的基本前提。
1.2 OpenAI 曩昔 5 年展示的外界难以了解的GPT“崇奉”
在 AGI 愿景下，咱们看到 OpenAI 在曩昔 5 年坚定地挑选了用 GPT（Generative Pre-trainning Transformer）架构继续加注 LLM（Large Language Model）的技能途径。这个期间 OpenAI 孤独且惊人的巨大投入，让外部觉得这是崇奉的程度。但假如了解了 OpenAI 的技能挑选实质回头看，咱们会发现这其实是 OpenAI 在对技能的深刻洞见下的理性判别。
OpenAI 在打开上可大致分为三个阶段：
1.2.1 阶段一: AGI 完结途径探究（2015年11月～2017年6月）
这个时期的 OpenAI 走向 AGI 的技能途径并没有收敛，打开了包含 OpenAI Gym（Robotics），OpenAI Five（Dota2）和一系列 Generative Model（生成式模型）的项目探究。
值得留意的是，这些项目运用的是 Unsupervised Learning（无监督学习）或RL（Reinforcement Learning， 强化学习），都不需求标示数据，有较好的可拓展性。Unsupervised Learning 和 RL 在 OpenAI 树立之初是一个难以实践更难以 Scale（规划化）的算法途径，OpenAI 却好像只关注这个工业上不成熟的技能途径并测验 Scale 。
研讨这期间 OpenAI 的文章和 Ilya Sutskever（OpenAI 首席科学家）的讲演，可以窥见 OpenAI 当两个重要的技能判别：
重要技能判别1：Scale
Ilya 此期间的一切讲演都着重了 Scale 的重要性。其实回溯 2012 年让 Ilya 等人一战成名的 AlexNet，其算法中心实质也是运用 GPU 的并行核算才干将神经网络 Scale 。将根底算法规划化的理念贯穿了 Ilya 近十年的研讨。合理估测，正因为对 Scale 的寻求，Ilya 和 OpenAI 才会如此着重 RL 和 Generative Model 的重要性。
举例来说，相同是在 2015 年前后打 Dota2，AlphaGo 挑选了结合查找技能的变形式 RL 来前进算法体现，而 OpenAI Five 挑选了纯粹的 RL 上 Scale 的办法（期间发布的RL Agent 在后来也起到了巨大的作用）。
后来 2019 年 Rich Sutton 发布的闻名文章《The Bitter Lesson》也指出：“纵观曩昔70年的AI打开前史，想办法运用更大规划的算力总是最高效的手法。”
也正是在算法 Scale 的理念下，OpenAI 极度重视算法的工程化和工程的算法思想，树立了工程算法紧密配合的团队架构和核算根底设施。
重要技能判别2: Generative Model
在 OpenAI 2016 年 6 月的发文《Generative Model》中剖析指出：“ OpenAI 的一个中心方针是了解国际（物理和虚拟），而 Generative Model（生成式模型）是到达这个方针的最高或许性途径。”
而在 2017 年 4 月发布 Unsupervised Sentiment Neuron 算法的文章《Learning to Generate Reviews and Discovering Sentiment》中指出，“真实好的猜测与了解有关”，以及“仅仅被练习用于猜测下一个字符之后，神经网络主动学会了剖析情感” 。
这篇文章在其时没有遭到太多关注乃至被 ICLR 2018 拒稿，但咱们剖析以为，这个研讨作用对 OpenAI 后续的研讨产生了深远的影响，也为下一阶段 OpenAI all-in GPT 道路打下了根底。
1.2.2 阶段二：技能途径收敛，探究GPT途径工程极限（2017年6月～2022年12月）
2017 年 Transformer 横空出世，Transformer 对 language model 的并行练习更友好，补齐了 OpenAI 需求的最终一环。自此，OpenAI 确立了以 GPT 架构的 LLM 为主要方向，逐渐将资源转移至 LLM，开启了 GPT 算法途径的工程极限探究之途。这个阶段 OpenAI 关于 GPT 途径的巨额押注在其时外界看来是难以想象的举动。
2018 年 6 月 OpenAI 发布 GPT-1，两个月后 Google 发布 BERT 。BERT 在下流了解类使命体现惊人，不只高于 GPT-1（117M），且基本导致 NLP 上游使命研讨含义的消失。
在整个 NLP 范畴学者纷纷转向 BERT 研讨时， OpenAI 进一步加码并于 2019 年 2 月推出 GPT-2（1.5B）。GPT-2 尽管在生成使命上体现冷艳，可是在了解类使命的体现上依然全面落后于 BERT。
在这样的布景下，OpenAI 依然坚持 GPT 道路而且大幅度加大 Scale 速度，于 2020 年 5 月推出了 GPT-3（175B）。GPT-3 模型参数 175B（百倍于 GPT-2），练习数据量 500B Tokens（ 50 倍于 GPT-2）。
GPT-3 直接导向了 OpenAI 股权架构的重构和商业化战略的转型。2019 年 3 月，OpenAI 由非盈余安排改组为有限盈余安排（一切股东 100x 盈余上限）。Sam Altman 在发文中指出“We’ll need to invest billions of dollars in upcoming years into large-scale cloud compute， attracting and retaining talented people， and building AI supercomputers. We want to increase our ability to raise capital while still serving our mission， and no pre-existing legal structure we know of strikes the right balance. Our solution is to create OpenAI LP as a hybrid of a for-profit and nonprofit—which we are calling a ‘capped-profit’ company.”由此可见 OpenAI 此刻关于经过 GPT 探究 AGI 的技能途径的坚定程度。
商业化上，OpenAI 推出了商业化 API 接口。GPT-3 不只生成式使命体现优胜，在了解类使命上现已开端赶超，尤其是 few-shot-learning（少样本学习）和 zero-shot-learning（零样本学习）的才干引起了许多创业公司的留意。之后两年，依据 GPT-3 API 构建的运用生态继续打开并逐渐昌盛，诞生了一系列明星公司：Jasper（ 2022 年 ARR 达 9000 万美金），Repl.it，Copy.ai 等。GPT-3 发布及生态成型期间（2020-2022），OpenAI 一向没有推出下一代模型，而是开端要点研讨 Alignment 问题。
GPT-3 对言语现已展示了很强的了解才干，假如被有用运用可以做许多使命。可是 GPT-3 的了解才干不是 human-like 的，换句话说，让 GPT-3 做你要求它做的事情很难，即便它可以。跟着模型底座的了解和推理才干增强，OpenAI 以为 Alignment 变得尤为重要。为了让模型精确且忠实地呼应人类的诉求，OpenAI 于 2022 年 1 月发布 InstructGPT，并于 2022 年 3 月发布相关文章《Training Language Models to Follow Instructions with Human Feedback》详细阐述了用指令微调 align 模型的办法，后续 InstructGPT 迭代为被咱们熟知的 GPT-3.5。GPT-3.5 上线后收到广泛好评，后来 OpenAI 直接将 GPT-3.5 替换掉 GPT-3 成为默许API接口。
至此，OpenAI 的 LLM 产品均以 API 的产品形状供给，并主要面向 B 端、研讨人员和个人开发者商场。
1.2.3 阶段三：后 ChatGPT 阶段（2022.12至今）
2022 年 11 月 30 日，就在职业预期 GPT-4 行将发布之际，OpenAI 突然发布了开发用时不到 1 个月的对话式产品 ChatGPT，引爆了这一轮的 AI 热潮。据多方音讯源称，ChatGPT 是 OpenAI 得知 Anthropic 行将发布 Claude（依据 LLM 的对话式产品，于2023 年 3 月 14 日发布 Early Access）后暂时紧急上线发布的。咱们有理由以为，ChatGPT 的火爆和随之引发的 AI 热潮，是在 OpenAI 预期和规划之外的。
GPT-4 的根底模型其实于 2022 年 8 月就已完结练习。OpenAI 关于根底了解和推理才干越来越强的 LLM 采取了更为慎重的态度，花 6 个月时间要点针对 Alignment、安全性和现实性等问题进行许多测验和补丁。2023 年 3 月 14 日，OpenAI 发布 GPT-4 及相关文章。文章中简直没有披露任何技能细节。一同其时揭露的 GPT-4 API 是约束了 few-shot 才干的版本，并没有将完整才干的根底模型开放给群众。
ChatGPT 发布引发了一系列连锁反应：
C 端：ChatGPT 第一次让没有编程才干的 C 端用户有了和 LLM 交互的界面，群众从各种场景全面对 LLM 才干进行挖掘和探究。以教育场景举例，美国媒体的抽样调查称， 89% 的大学生和 22% 的 K-12 学生现已在用 ChatGPT 完结作业和论文。截止 2023 年 3 月，ChatGPT 官网的独立访客量超越 1 亿（未进行设备去重）。2023 年 3 月 23 日，ChatGPT Plugin 的发布，让更多的人以为 ChatGPT 或许会打开为新的超级流量进口（这是一个十分值得独自评论的问题，因为本文主题今日暂不打开评论）。
科技巨子。与 OpenAI 协作深度最深的 Microsoft 一方面裁撤整合内部的 AI 部分，一方面全产品线拥抱 GPT 系列产品。Google 多管齐下，原 LaMDA 团队发布对话产品 Bard，PaLM 团队发布 PaLM API 产品，一同出资 OpenAI 最主要竞对 Anthropic 3 亿美金。Meta 发布 LLaMA 模型并开源，LLaMA+LoRA 形式是其时开源 LLM 中最活泼的生态（Alpaca-13B 与 Vicuna-13B）。Amazon 则和开源社区 HuggingFace 依据 LLM 生态打开更积极的协作。咱们剖析以为 OpenAI 现在与 Meta 的竞赛更多在技能层面，对 Meta 的主营事务短期内没有冲击。可是 OpenAI+Microsoft 组合关于 Google 和 Amazon 却有事务层面的潜在巨大影响，后续会打开剖析。
创业生态。一方面，ChatGPT 在 C 端敏捷浸透激起了新一轮的 AI 创业热心，海量的 C 端运用事例也启示并加速了创业生态的打开。另一方面，LLM 才干鸿沟与 OpenAI 产品鸿沟的不确定性，让依据 GPT 模型基座构建的运用和传统运用担心自己的产品价值被湮没——咱们会在后文拆解 OpenAI 行为逻辑以及 LLM 工业链生态后，对这个问题打开进一步评论。
OpenAI：职业和生态的一系列连锁反应明显超出了 OpenAI 的预期，从 OpenAI 随后的动作咱们估测中心影响有三：
（1）OpenAI 或许产生了做 C 端的野心
C 端流量供给的商业化潜力和搜集更多非揭露数据的才干，关于 OpenAI 的模型练习、根底研讨和生态打开都展示很高的价值。本月发布的 ChatGPT Plugin 便是典型的 C 端布局动作。
（2）OpenAI 可以经过适度商业化削减对巨额本钱投入的依靠
OpenAI 的愿景之一是让 AGI 普惠人类社会，可是 AGI 研制需求的巨大投入导致 OpenAI 不得不向科技巨子寻求本钱投入——这儿的对立冲突引来了学界对 OpenAI 的诟病，并直接或间接导致了其许多人才流失。适度的商业化有时机让 OpenAI 削减乃至脱节对科技巨子的依靠。咱们估测 OpenAI 的商业化战略会继续在普惠与可继续独立打开之间找平衡。这儿的平衡点判别对后续的工业链剖析至关重要。
（3）加强 Alignment 和安全性的研讨投入和动作
LLM 才干在 C 端和 B 端的敏捷浸透也导致了 LLM 才干被歹意运用的风险及影响敏捷扩展，安全问题的紧迫性添加。
一同其时 LLM 严重的 Hallucination（真假难辨的一本正经胡言乱语）问题，阻止了 B 端的深度运用，也对 C 端内容环境产生了不良影响。与人类的互动可以削减 Hallucination，但不一定是最实质的处理计划。经过 Alignment 研讨，让模型精确且忠实得呼应人类诉求，会成为 OpenAI 下一步研讨的要点。
二、OpenAI 的技能途径挑选（GPT 架构的 LLM ）是依据什么？
首要给定论，经过对许多的访谈、课程、论文和访谈学习，咱们斗胆估测：OpenAI 以为，AGI 根底模型实质是完结对最大有用数据集的最大程度无损紧缩。
2.1 OpenAI 以为：AGI 的智能 ≈ 泛化才干
泛化才干（Generalization）是一个技能术语，指一个模型可以正确习惯新的、以前未见过的数据的才干，这种才干来源于对练习数据学习并创建的散布。
Generalization refers to your model’s ability to adapt properly to new， previously unseen data， drawn from the same distribution as the one used to create the model。
更通俗地说，泛化便是从已知推到不知道的过程。一切深度学习模型前进的根底都是前进模型的泛化才干。
OpenAI 以为：AGI 智能的实质在于寻求更强的泛化才干。泛化才干越强，智能水平越高。
需求特别留意的是，泛化才干不等于泛化功率，下一章节会进一步打开。这也是 OpenAI 树立之初与业界最大的非一致。
2.2 模型泛化才干 ≈ 模型泛化功率 练习数据规划
咱们以为：假如模型的泛化功率越高，练习数据的规划越大，则模型的智能程度越高。
这一定论可以由严厉的数学推导得到，可是因为笔者的数学才干约束了第一性的了解，在请教了专业人士后，给出了以下抽象了解公式：
模型智能程度（泛化才干） ≈ 模型泛化功率 练习数据规划
这儿的数学和抽象论证建议阅览冠叔、周昕宇（zhuanlan.zhihu.com/p/619511222…
2.2.1 模型泛化功率 ≈ 模型紧缩功率
对完结某个使命有用办法的最小描绘长度代表了对该使命的最大了解。因而一个模型的紧缩功率可以近似量化为模型的泛化功率。
AGI 的使命可以了解为：经过对练习数据集的紧缩，完结对练习数据集所代表实在国际的最大程度泛化。
一个 AGI 模型的最小描绘长度可以量化为模型的紧缩功率。
在这个了解下，GPT 模型参数量越大，模型的智能水平越高。（模型参数量大→模型紧缩功率高→模型泛化功率高→模型智能水平高）
（1）GPT 模型是对练习数据的无损紧缩（数学推论）
（2）GPT 模型参数量越大，紧缩功率越高（数学推论）
（3）GPT 模型是 SOTA（state-of-the-art，最好/最先进）的无损文本紧缩器（现状）
2.2.2 练习数据的规划化和多元化对前进模型泛化才干至关重要
前文中咱们说到：AGI 的使命是对练习数据集的最大程度泛化。那为什么模型的泛化才干不等于泛化功率呢？
因为模型的泛化功率只寻求了“最大程度泛化”，而疏忽了“练习数据集”。传统学术界只以为算法的立异才值得寻求，练习数据集的 Scale 仅仅工程问题，不具有研讨价值。因而干流学术界长时间寻求的方针其实是：模型取得智能的高效办法，而不是模型的智能才干。
而 OpenAI 则在深刻了解泛化才干的实质后，挑选一同寻求更大的练习数据集（练习数据集的 Scale ）和更大程度的泛化（模型参数的 Scale ）。
期望最快的 Scale 练习数据集，文本数据天然成了 OpenAI 的首选。因而曩昔五年， OpenAI 首要做的是在最简略 Scale 的单一模态文本上，把练习数据规划和模型参数量的极限拉满。LLM 仅仅起点，当文本数据被极限拉满后，咱们有理由信任 OpenAI 会进一步扩展练习数据模态，其间包含可观测数据（特别文本、图画、视频等）和不行观测数据（与虚拟国际和物理国际的互动数据）。
2.3 OpenAI 的技能途径挑选逻辑总结
前面关于 OpenAI 技能理念实质的剖析十分抽象，咱们测验对技能途径挑选逻辑和前史行为进行了整体的梳理总结，如下图：
总结起来，OpenAI 以为：AGI 根底模型实质是完结对最大有用数据集的最大程度无损紧缩。
在这个技能了解下，GPT 架构的 LLM 道路是曩昔 5 年的最优技能途径挑选，模型参数量和练习数据量的 Scale 则是必定行为。
2.4 OpenAI 的技能途径挑选争议
陈述原文中对 OpenAI 技能途径的挑选提出了一些具有启示性的问题，因为篇幅问题，咱们在此仅提出问题，更详细的信息欢迎咱们到陈述的原文进行进一步阅览并参加评论。
AGI 的智能是否等于泛化才干？ 即关于通用使命的了解与泛化才干（ OpenAI 为代表），与杂乱困难的科学使命的研讨才干（ DeepMind 为代表），谁更能代表 AGI 的智能水平。
LLM 学到的是 Book AI？ 一些学者以为，LLM 在言语中学习到的知识和了解，和物理国际无法构成有用的映射，因而 LLM 的智能是浅薄的智能。
One Model Rules ALL？ 尽管 GPT 道路的大模型的泛化了解才干很高且在不断迭代，可是此道路导致了 Hallucination 的问题也会继续存在，那么在容错率挨近0的高可靠性要求场景（如笔直杂乱场景的API调用等）是否必须有不同笔直模型的空间？
指令微调和 RLHF 是不是处理 Alignment 问题的正确途径？ 一方面，指令微调和RLHF关于根底才干越来越强的LLM基座的Alignment的协助有限。另一方面，指令微调经过献身reasoning性能交换与Alignment（Alignment Tax）。
GPT 道路是没有 Memory？ 其时的 GPT 系列模型在处理一些单次使命时体现出色，与 GPT 模型的前序交互信息无法主动写入下一次交互的 token。而AutoGPT等现在只能暴力回放前史，导致太多 token cost。这就导致 GPT 模型关于许多杂乱的体系工程和接连的生产行为不友好。
三、依据 OpenAI 的技能挑选实质，了解 OpenAI 的曩昔和未来
3.1 拟合：OpenAI 的前史行为解说
归纳前文所述，OpenAI 的愿景是寻求普惠的 AGI。而 OpenAI 的技能理念为：AGI 智能实质是寻求的泛化性，因而 AGI 根底模型实质是完结对最大有用数据集的最大程度无损紧缩。
依据此咱们测验对 OpenAI 的前史行为进行解说。过程中咱们更感遭到，Sam Altman （商业）+ Ilya Sutskever（算法） + Greg Brockman（工程）组合的稀缺性。OpenAI 今日的作用是算法、工程、数据、产品、GTM 团队密切配合的结果。
3.1.1 技能
（1）为什么 Bert 在下流了解类使命体现出色（远高于 GPT-1 和 GPT-2 ）时，OpenAI 依然坚持 GPT 道路？
如前文剖析，OpenAI 寻求的是模型的泛化才干。一切的有监督学习都是无监督言语模型的一个子集。那么为了特定使命短期作用前进而挑选有监督学习无疑是不实质的做法。
前期 BERT 在了解类子使命上的高体现，是因为对特定数据集经过有监督学习，可以更快速得到对该使命的了解。当 GPT 等无监督模型的参数满足大且语料满足丰厚时，经过无监督言语学习就可以完结其他有监督学习的使命。
因而 OpenAI 坚持 GPT 道路便是必定的简略挑选。
（2）为什么曩昔继续 Scale，未来还会继续大幅 Scale 吗？
GPT-1 至 GPT-3 的 Scale 是在文本模态上的练习数据量和模型参数量的双重 Scale。其间
练习数据量 Scale 是前进 AGI 泛化才干的必定挑选。其时最简略 Scale 的是文本数据，但当文本模态的了解才干被逐渐拉满后，OpenAI 必定会开端相对不简略的数据 Scale 方法，即添加数据模态并进一步上量。可以看到 GPT-3.5 添加了特别文本数据（代码）进行练习，GPT-4 引入了图画等数据模态。
模型参数量 Scale 是其时最优算法架构 Transformer 和最优算法途径 GPT 组合下，前进 AGI 泛化才干的副产物。假如未来 OpenAI 找到了更高效更优的算法，相同智能水平的 AGI 根底模型的参数量未必更大。
（3）为何将工程才干的建设放到极高的优先级？
在与传统学术界的非一致下，OpenAI 很早就认识到了模型 Scale 的重要性。因而树立了有工程才干的算法团队（Pretraining 组与 Alignment 组）和有算法了解的工程团队（Scaling 组）。并树立了算法与工程紧密配合的安排架构。 工程团队为算法团队做好高拓展性的根底设施，算法团队以工业化的方法设核算法练习。
一些可以窥见其工程才干（工业化的模型生产才干）的现实：
OpenAI 现已具有工业化练习并精确猜测超大规划模型体现的才干。2021~2022 年，OpenAI 与 Azure 协作重构了 OpenAI 的根底设施。GPT-3 的练习是对这套根底设施的第一次运用，过程中发现并修正了一些 bug。根底设施的 bug 修正后，GPT-4 的练习就安稳且趁热打铁了。而且运用这套根底，OpenAI 团队在 GPT-4 练习的初期，仅用了 1/10000 的算力进行小模型试验，就经过小模型试验的 loss 精确猜测了 GPT-4 大模型的终究 loss。
开源 OpenAI Triton：没有CUDA经历也可以主动完结GPU编程的各种优化（内存合并，同享内存办理，SM 内调），用 Python 也能写出高效 GPU 代码。
咱们以为，OpenAI 和现在大部分 LLM 团队的工程才干可以用工业化模型工厂和模型作坊比照。工程才干的巨大差距会导致大部分 LLM 公司对 SOTA 模型追逐的难度进一步拉大。
（4）为什么砍掉 Robotics 等项目 all in LLM？
简略来说，是因为 Robotics 技能的打开暂时落后于 AI 导致 RL 很难 Scale。
其实 Robotics 项目中运用的 RL 也是契合 OpenAI 技能审美的算法。而且 RL 和国际（虚拟与物理国际）的交互以及其间可以学习到的高维表征是 OpenAI 十分渴望探究的。可是其时受限于 Robotics 技能自身在打开初期，机器人无法 Scale 约束了 RL 算法和数据的 Scale。因而 OpenAI 挑选了砍掉 Robotics 等项目 all in LLM。
但咱们有理由判别这是一个阶段性挑选。其时机成熟，大模型与 Robotics 或其他能与国际交互的终端结合，在与国际互动中习得更高的 AGI 智能，是必定会发生的。现实上，OpenAI 于 2023 年 3 月对人形机器人公司 1X 进行了约 2000 万美金的 A 轮出资。
（5）为什么会有 Hallucination 问题？
OpenAI 寻求的 AGI 智能是最大程度的模型泛化才干。LLM 的意图，并不是测验“拟合”练习集，而是无损地找到练习集所代表的实质规则(概率散布)，从而了解练习集以外的数据。因而 LLM 会生成出练习集之外的内容，形成 Hallucination 问题。
可以预期的是，跟着 AGI 根底模型才干的逐渐前进，Hallucination 问题会逐渐减轻。不过在当下，OpenAI 会采用预处理和后处理模型等补丁计划，暂时减轻 Hallucination 问题以便让 LLM 具有更高的可用性和更低的有害性。
一同需求的留意的是，LLM 的文本练习语猜中自身就存在错误和价值观冲突，怎么为 LLM 构建“价值判别”也是一个值得深化研讨的问题。
3.1.2 产品
咱们以为 OpenAI 在产品方向的一切行为都可以被其在产品作业的两个方针及其衍生的两个事务飞轮来进行解说。其间两个中心方针：
规划出可以协助 OpenAI搜集更多有用数据的产品形状，以寻求更高的 AGI 智能。
规划出依据其时 AGI 模型才干，更普惠群众的产品。
依据方针衍生出了两个事务飞轮：
（1）更普惠的 AGI 产品与“数据-运用”飞轮
此类产品的方针是：围绕 AGI 模型的才干，树立能被友好、有用地被 C 端群众和 B 端公司运用的产品，以将 AGI 赋能并普惠人类社会。 其间：
ChatGPT
GPT-1-4 系列的 API
Codex API
等都是此类产品。C 端用户可以经过此类产品前进日常日子的各类使命功率，处理各类问题；而 B 端用户则能经过此类产品取得 AGI 模型的才干，协助自己树立笔直场景的产品处理计划，并经过“数据-运用”飞轮迭代自己的数据壁垒和产品优势。
（2）搜集更多有用数据反哺根底模型与“数据-模型”飞轮
此类产品的方针是：依据 OpenAI 的模型才干和技能储备，树立特定产品场景，招引特定才干或爱好的用户，经过用户行为反应堆集特定的有用数据，反哺 AGI 根底模型。这类产品因为所需的数据、能奉献数据的用户集体不同，产品形状和面向的商场各有差异。
DALLE 与 Clip：图-文数据
ChatGPT Plugin：用户经过运用及 API 构建杂乱使命处理计划的数据
OpenAI Codex Playground：用代码构建不同运用程序数据
OpenAI Universe：各类强化学习使命及练习数据
Rubik’s Cube：模型与物理国际互动数据
（3）两个数据飞轮之间的搬迁与博弈
一个要害而且风趣的现实：上述这两个方针及其衍生的事务飞轮现实上存在一些奇妙的结构性对立，而这正是一些让人困惑的现象和行为背面的底层原因。OpenAI 自身产品与其上层生态运用产品会在两个数据飞轮间搬迁和博弈。
搬迁一：OpenAI 自身产品的产品方针，或许会由搜集数据反哺大模型，搬迁至构建生态普惠群众
典型事例如 GPT 系列模型的 API 产品。GPT-1 与 GPT-2 是 OpenAI 在 LLM 模型上的初期产物，这个阶段的 OpenAI 需求更多的高质量文本数据，因而只向有限高质量用户开放 API，而且以免费和极低的浮动价格供给给用户。到了 GPT-3 发布时，OpenAI 在 LLM 才干上逐渐拉满，通用的文本数据对模型自身的才干前进 ROI 降低，因而 OpenAI 此刻对产品进行规范定价并开放给更多用户。到今日，该系列产品已为不需求 waitlist 的规范产品。搬迁二：OpenAI 根底模型的才干前进，会导致部分层生态运用产品的用户向 OpenAI 自身产品搬迁典型事例如 Jasper 与 ChatGPT。因为 GPT 系列模型的 Alignment 问题，和 API 自身对 C 端用户的易用性问题，在 ChatGPT 发布前普通用户难以运用 LLM 的言语了解与生成才干。因而 Jasper 依据对 GPT 模型才干的了解和运用经历，打造了优于市面一切竞品的营销内容生成渠道，并用一年多的时间敏捷涨至 9000万 美金的 ARR。可是 ChatGPT 的面市将 Jasper 的优势敏捷拉低，模型才干之上过薄的产品令商场质疑其事务的护城河。尽管现在公司的营收仍在高速增加，可是 Jasper 也不得不从营销内容生成渠道向营销链路 SaaS 转型，以获取更安全的生态位。这类搬迁不是 OpenAI 主观规划的，却是根底模型才干前进必定会发生的。博弈一：有助于前进 AGI 通用才干的场景与用户行为数据的争夺典型事例如 ChatGPT Plugin与 Langchain。Langchain 是一个依据 GPT 生态的东西层开源项目，为开发者用户供给了将私有数据和实时查找结果与 LLM 才干结合构建运用的计划，是 GPT 生态的重要组件。Langchain 是其时生态最活泼的玩家之一，公司于 2023 年 3 月取得 Benchmark Capital 1000 万美金的首轮出资。可是就在 Langchain 宣告融资音讯一周后，OpenAI 推出 ChatGPT Plugins 插件集。Plugins 可以：（1）调用互联网数据处理实效性问题； （2）接入第三方私有数据； （3）操作外部运用。 丰厚有用的才干组件直接揉捏了 Langchain 的生存空间。可是与商场上以为“Plugins 是 OpenAI 出于商业化意图为构建 LLM 年代的运用商铺而推出的”干流观念不同。咱们以为 OpenAI 推出 Plugins 的实质原因是为了获取“用户为了处理特定使命时会怎么运用运用程序和 API 的行为数据”。
值得留意的是，“正确了解用户意图，精确挑选并运用合适的东西可靠地完结使命”这个场景现在竞赛剧烈。除了 OpenAI 外，Adept AI、Inflection AI 以及 Meta 的 Toolformer 模型都在竞赛此范畴的生态位。进一步评论，假如 LLM 未来真的成为新一代的人机交互界面，精确性和可靠性是必要条件。
博弈二：深度笔直场景的数据与用户争夺
典型事例如 BloomBergGPT。2023 年 3 月 30 日，BloomBerg 发布自研笔直范畴 GPT 模型 BloombergGPT，模型参数 50B，练习 Token 700B，其间私有金融数据和揭露数据各一半。在私有金融使命上的体现远高于其时的 GPT 模型。
换言之，假如笔直范畴的使命杂乱度满足深、数据满足一同且数据量满足大，不拥抱通用 LLM 生态而自研笔直范畴大模型，或许是一个至少短期内合理的博弈。
整体而言，这两个数据飞轮之间的产品搬迁和博弈将会继续存在。
3.1.3 GTM（Go-To-Market）与商业化
整体而言，咱们以为 OpenAI 的 GTM 和商业化战略是普惠群众与坚持自身独立性间的 trade-off，且公司会在权衡中继续摇晃。
（1）从 OpenAI 到 OpenAI LP：非盈余向有限盈余的转型
OpenAI 在树立之初只要探究普惠 AGI 的愿景，并没有想清楚技能完结途径，大大低估了需求的资金投入。在 OpenAI 以非盈余安排运营的 2 年期间，总融资金额估算只要 10003000 万美元左右。2018 年2019 年是 OpenAI 资金最为困难的阶段。在 2017 年承认 GPT 架构的 LLM 技能途径后，GPT-1 与 GPT-2 的练习烧尽了简直一切资金。他们不只无法继续承担下一代模型练习的天价费用，也无法招聘职业优秀人才（实际上现已有研讨人才被谷歌挖走）。
在此布景下，非盈余的 OpenAI 于 2019 年 3 月改制为有限盈余的 OpenAI LP。股权改制后，OpenAI 先后接受微软约 130 亿美金出资。此后，OpenAI 不只可以开出高薪招引职业顶级人才，承担高昂的 AI 练习费用，打造超级 AI 根底设施，还加速了算法探究和产品研制的速度。
可是关于科技巨子的高度依靠，导致 OpenAI 内部和外部都呈现了对其普惠愿景和损失独立性的质疑，乃至导致了部分中心职工的流失。
咱们以为，AGI 是个资金密集型职业，OpenAI 必需求找到可继续探究 AGI 的运营形式。取得外部资金支撑和自身产品商业化是其时的两条可选途径。自身产品商业化关于 OpenAI 来说是一个更可控且可以坚持自身独立性的形式。因而咱们判别，OpenAI 会进一步打开商业化进程，但不会以收入或利润最大化为方针。OpenAI 最根本的方针仍是探究 AGI 智能的极限。
有限盈余的商业化战略，会使 OpenAI GTM 和商业化决议计划不同于传统的科技巨子，进而影响职业生态。
（2）微软与 OpenAI 的协作蜜月期
自 2019 年微软初次出资 OpenAI 以来，双方打开了教科书等级的战略协作。
OpenAI 得到了什么：
资金：2019 年和 2021 年两轮出资总计约 30 亿美元，2023 年 1 月据悉追加了 100 亿美元出资；
工程 Infra 的助力：Azure 对 OpenAI 模型的练习和推理投入了专门的团队支撑。更重要的是 2021-2022 年，Azure 和 Greg 带领的 Infra 团队重构了 OpenAI 的整个根底设施，得到了安稳性和可拓展性都极高的模型练习 Infra（可猜测的 Scale 对 OpenAI 很重要）；
多元优质的特别数据：GitHub 和 Bing 等特别的文本数据；
C 端心智占有和丰厚的通用运用场景：GitHub（7300 万开发者用户）、Office 套件（1.45 亿的日活）、Xbox（Xbox Live 9000 万月活）分别为 OpenAI 试水 LLM 运用供给了开发者、通用生产力和营销东西、游戏等优质的通用运用场景，与 LLM 构成独有的数据飞轮；
B 端的客户资源和笔直场景：Azure 具有 95% 的财富 500 强企业，有超越 25 万家公司运用 Microsoft Dynamics 365 和 Microsoft Power Platform；
微软得到了什么：
首要要留意的是，Microsoft 是营收最多元化的科技巨子，第一大事务 Azure 营收占比31%，第二大事务 Office 营收占比 24%。而 Google、Amazon、Meta、Apple 等硅谷大厂的单一主营事务营收占比均超越 50%。
Azure（进攻）：作为 OpenAI 的云服务供应商，Azure 是 OpenAI产品 在公有云场景的独家运用渠道。假如咱们以为未来人类数字活动的 AI 含量将大幅前进，且 OpenAI 的产品会占有大部分份额。那么 Azure 很有或许会取得大部分云核算增量推理商场。一同，Azure 与 OpenAI 一同研制的大规划练习根底设施若开放，则还能取得大部分云核算练习商场。长时间来看，这对 AWS 会形成不小的挑战和冲击。
办公套件（防卫）：Office 套件中一切单品都在遭到新式玩家的挑战（Notion、Airtable 等），OpenAI Copilot 与 Office 套件的结合既晋级了单品，也扩大了 Office 各单品间联动的优势。
Bing Search（防卫）：许多出资者以为 Bing Search 会颠覆Google。咱们在这儿有不同的观念。Bing 与 ChatGPT 补丁式的协作其实不改动查找体会实质，但却是会抢走部分 Google 的查找流量。真实有或许颠覆 Google 查找是相似 Perplexity 的 LLM 原生的全新查找产品。在查找中添加 LLM 其实反过来会添加单 query 的本钱（依据各类推算，不优化的话，其时或许2~3倍于传统查找），进而降低传统查找事务的利润空间。而 Google 关于查找事务的依靠远高于 Microsoft，战略上也就更难受。但不论关于 Bing 仍是 Google Search，原本极高的查找广告营收都阻止了它们真实在 LLM 语境下像 Perplexity 一样构建全新的信息和知识获取引擎。
现阶段是 OpenAI 和微软协作的蜜月期。不过值得留意的是，模型厂商和云服务厂商在工业链上的价值分配在未来依然会产生博弈，微软与 OpenAI 的蜜月期能继续多久未可知。
（3）ChatGPT 意外收成的 C 端商场，从根底模型层向运用层的扩展
ChatGPT 让 OpenAI 意外收成了 C 端商场，近 4 个月的时间 ChatGPT 官网总访问量超越 10 亿，独立访客数超越 1 亿。从生态昌盛的视点，根底层进入运用层在任何工业链中都是大忌，这会极大打击生态位上层玩家对根底层的信赖，可是 OpenAI 在此问题上展示出了极大的“无所顾忌”，而这种行为从 AGI 愿景以及更好的数据 Scale 视点可以得到解说：
更低本钱的数据获取：经过对 C 端的流量与心智占有，现在 ChatGPT 与 OpenAI 已成为了其时 LLM 的代名词和职业规范。作为一项全新的技能和产品，心智占有可以让 OpenAI 继续以更低的 GTM 本钱取得用户数据。
更丰厚场景有用数据的获取：比方 Plugin，咱们估测，通用的对话数据关于 GPT-4 的边沿价值现已不大，可是 Plugin 所搜集的经过运用东西完结用户使命的数据十分有价值。这个或许是未来成为真实的新一代人机交互界面的要害（前文说到这个范畴竞赛剧烈）。
经过更多长尾对话和运用场景来优化模型才干：一方面可以加速 Alignment 和安全性的研讨，一方面也可以挖掘更多潜力场景。
最大极限坚持普惠 AGI 的初心：经过商业化得到巨大的造血潜力，有时机让 OpenAI 未来削减对巨子的依靠并健康的可继续打开
（4）经过出资构建生态和补齐 AGI 探究需求的技能同伴
2021 年，OpenAI 宣告启动一个 1 亿美元的创业基金，名为 OpenAI Startup Fund。主要出资标的有以下几类：
运用层公司
草创企业可以在 OpenAI 揭露发布新东西之前先运用新才干，这会让他们在竞赛对手前占有优势。OpenAI 可以深度取得各类场景的数据或前期反应。
未来的 LLM 生态不会只要 OpenAI 一个模型层玩家，而会有多家模型厂商和许多笔直运用。经过出资的强协作关系可以让 OpenAI 和它的协作同伴们的飞轮更大且更快。
芯片、机器人等前沿科技公司
OpenAI 在 AGI 上的探究估计将长时间领跑于职业，这会导致 OpenAI 需求探究更多先进的产品和东西来满足自身的研讨需求。如，新架构的芯片服务更大规划更多模态的模型练习，更先进更低本钱的机器人让 OpenAI 未来有时机做与物理国际互动的 RL 的 Scale 等。
3.2 猜测：OpenAI 的未来行为推演
3.2.1 技能
如前文剖析，在 OpenAI 的技能了解和审美下，数据和参数量的 Scale 是必定挑选，而 Generative Model 和 Transformer 则是当下的最优挑选。依据此，咱们斗胆对 OpenAI 接下来的技能举动做一些猜测：
（1）进一步添加 LLM 没见过的有用数据，拥抱多模态
通用文本数据：边沿收益变低，引入更多其他类型的文本数据，如代码、其他可核算言语
图画视频等模态数据：图画和视频数据在 Transformer 架构下练习功率很低， Scale 的练习本钱会以平方或平方以上级上升
与比特国际的互动数据：如前文所述，OpenAI 一向想做 RL（强化学习），但曩昔 Robotics 的RL很难Scale，但在比特国际有许多的用户场景可以测验
与物理国际的互动数据：经过机器人等与物理国际互动做 RL 的 Scale，这儿的进展很大程度取决于机器人技能的打开速度
（2）RL 的 Scale
与 Genrative Model 相似，RL 也是契合 OpenAI 审美的算法。尽管 RL 关于现在已发布的 GPT 系列模型奉献较小，但 GPT-3.5 初步将 Instruction Tunning（指令微调）和 RL 结合扩大，现已显示出了令人惊喜的作用。未来估计 OpenAI 会用更 Scale 的 RL（RLHF，RLAIF）手法辅佐根底模型练习。而且现在有了更多 C 端流量在手，不排除未来 OpenAI 会把一些产品变成 RL 的 Agent 来辅佐练习的或许（如用 ChatGPT Plugin 做“开发者行为相关和东西运用”的 RL 练习）。
（3）Robotics 与 Embodied AGI（具身智能）
咱们以为在其时时间点，比起 AGI for Robotics，OpenAI 更关心的是 Robotics for AGI。经过 Robotics 与环境互动和感知感官信息的才干，来添加 AGI 根底模型对物理国际的了解和认知推理才干。
（4）寻求能更高效 Scale 更多模态数据的新算法架构
Transformer 仍为其时 OpenAI 算法架构的最优选。它关于文本模态的 Scale 很高效，可是关于图画视频等模态很低效。因而 GPT-4 之后，OpenAI 寻求更高效的算法架构的需求变得更紧迫。咱们有理由信任 OpenAI 内部正在做 Transformer 变体乃至更新的算法架构的模型练习试验。
(5）关于模型的推理和涌现才干的深度了解
现在学术界关于 LLM 的涌现和推理才干的了解还在前期。咱们信任下一个词猜测的精确性和推理才干在高维空间必定存在数学联络，但杂乱难以研讨。技能范畴最好的立异其实都来自于对已知的实质了解。对这个范畴的深度研讨会很有价值。
(6）添加模型的可靠性、可控性和安全性
可靠性：Hallucination 问题的弱化；
可控性：精确的了解并执行使命。今日 ChatGPT 引入了 Wolfram，用第三方组件的方法给了过渡计划。未来一定会尽力在模型自身添加可控性；
安全性：不作恶以及不被恶人运用。
在这三点上，怎么做好 Alignment 很重要。RLHF（Reinforcement Learning from Human Feedback）仅仅第一步。
3.2.2 产品
咱们信任在现阶段，OpenAI 的产品战略会继续以“进一步前进 AGI 模型才干”为首要方针，以“让 AGI 产品被更广泛地合理运用”为非必须方针。
（1）为了进一步前进 AGI 模型才干，OpenAI 会规划更多能取得有用数据、进行模型试验、与用户互动迭代的产品
这儿的要害是有用数据。之前说到 Ilya 曩昔的技能审美喜爱“根底算法规划化”。相同的在数据侧，咱们以为 OpenAI 会优先挑选简略 Scale 的，简略练习的数据。未来 OpenAI 或许会将产品与模型练习过程结合，将用户行为变成模型练习的一部分。
（2）为了让 AGI 产品被更广泛地合理运用，OpenAI 会更当心的控制模型才干释放给群众的节奏
AGI 不只仅前进社会生产力，而是前进社会生产力前进的速度。Sam 已在多篇文章和访谈中着重了AI安全性、AI带来的未来贫富差距拉大等一系列社会问题。GPT-3.5 以上的模型现实上现已开端影响人类社会许多工种的生态。GPT-4 现在发布的是降级版。可以猜测，OpenAI 未来或许会和更多的社会研讨机构对模型才干或许形成的潜在影响进行猜测，并放缓模型才干释放的节奏，给相关职业缓冲期。
3.2.3 GTM 和商业化
（1）GTM 战略上，OpenAI 会继续捕捉 C 端的 Attention，一同与 B 端打开更多元的生态合
C 端流量一同为 OpenAI 供给了各类搜集数据的有用渠道和变现造血才干，猜测 OpenAI 会继续寻求更大的 C 端流量、更长的用户逗留和更深的用户行为。Attention 和心智占有关于 C 端产品尤为重要。Anthropic 的对话产品 Claude 与 ChatGPT 才干上不分伯仲，但在 C 端的认知度和流量都远低于 ChatGPT 和 Bard。
B 端则会继续经过与微软的生态全方面协作、创业公司的运用鼓励、出资等视点，加速“数据-模型”飞轮的转动。
（2）有限商业化
依据前文对 OpenA I做普惠 AGI 的愿景及有限盈余架构的剖析，咱们以为 OpenAI 的产品定价会依据普惠和安排可继续打开为纲领拟定。详细体现为：
有强反哺模型方针的产品免费；
C 端通用产品贴本钱定价（未来乃至或许免费）；
B 端产品有限盈余；
整体而言，OpenAI 有限盈余的架构会使其 GTM 和商业化不同于商业化公司。但作为现实的工业链链主和职业规范，它的 GTM 和商业化战略会对职业有很大的影响。
四、LLM 工业链剖析
4.1 微观视角下 LLM 生态
4.1.1 其时职业增量营收散布估测：运用层 30%~40%，模型层 0%~10%，核算根底设施服务 50-70%
（1）运用层拿走 30%~40% 价值
依据 A16Z 对美国 LLM 创业调研，纯运用厂商毛利约 60%~80%，20%~40% 的营收用于推理和模型 fine-tuning；
运用厂商其时用户和营收增加敏捷，其时现已多厂商 ARR 达 1 亿美金；
尽管用户数量和营收都在高速增加，但许多运用厂商都面对用户留存率低、竞赛加重和护城河浅等要害问题；
（2）模型层拿走 0%~10% 价值
依据 GPT-3.5 的模型参数量和价格测算，估测 OpenAI 简直是以本钱或极低的毛利对 API 定价。且依据对海外竞品 LLM 公司的访谈，竞品同类才干模型都在做推理本钱优化以匹配 GPT-3.5 的价格（没有到达）；
未来纯模型厂商若模型才干与 OpenAI 的规范产品同质化，推理价格必定需求长时间匹配有限盈余的 OpenAI 普惠群众的商业化战略。LLM 的练习本钱又极高，纯模型厂商面对极大的商业化压力；
（3）核算根底设施服务层（核算硬件+云核算）拿走 50%~-70% 价值
推理上拿到 20%~40% 的价值；
练习本钱极高：以其时的 A100 价格核算，千亿模型（GPT-3.5）练习本钱约 2000 万人民币；在 LLM 进入多模态阶段后，估计 SOTA 的模型练习核算量增加会超越单位核算本钱的下降速度，且短期内会有更多模型层玩家进入商场，估计 1~3 年内 LLM 的练习商场会增加敏捷。
练习侧更多 LLM 玩家的进场及多模态模型进一步 Scale，推理侧 LLM 在进入爆发式增加起点，云核算和核算硬件商场将加速增加。云核算厂商职业格式或许发生较大变动。
（4）因为其时 LLM 生态在打开初期，开发者东西的生态位还不安稳，本文暂不打开评论。
4.1.2 未来运用层高速增加且毛利或许改进，模型层竞赛加重，核算根底设施厂商将继续高速增加
需求留意的是，现阶段 LLM 仍处于大规划研制期，许多 LLM 新玩家才刚进场。且 LLM 在运用层的潜力还没有被挖掘，大规划浸透还没有开端，LLM 的练习本钱未被摊销。因而云核算和硬件厂商成了这一时期的最大玩家。咱们以为此刻的价值链散布为 LLM 职业打开前期的状态。职业生态真实成型后的价值链散布将与现阶段大相径庭。
(1）运用层：跟着 LLM 在各类运用场景的潜力被挖掘，运用层将加速增加。一同因为模型层竞赛加重或许导致的价格战，预期运用层毛利会改进。不过同质化的运用相同会导致价格战，这就要求运用层公司将壁垒树立在根底模型才干之外，咱们以为可以差异化产品或树立网络效应的运用层公司会真实取得最大的工业链价值。
(2）模型层：OpenAI 的定价战略将会成为纯模型 API 的定价规范。估计 OpenAI 会坚持普惠群众的有限盈余商业化战略（如：2023 年 3 月 ChatGPT 降价 90% ），不具有显著技能优势的 LLM 公司靠卖模型 API 盈余估计会很艰难。只要真实把握全球 SOTA 模型及本钱控制才干的公司才把握模型定价权。
3）核算根底设施服务层（核算硬件+云核算）：练习推理双增加，全职业取得新的增加曲线。新的增加或许也是职业洗牌的时机，怎么与 LLM 配合取得主动权对云核算厂商至关重要。一同要留意一些运用层公司或硬件层公司做新云的或许性。
在盘点了其时 LLM 生态的微观格式后，咱们扩大评论各个部分，开放式地提出一些值得探讨的论题。可是现在职业处于剧烈改动的阶段，咱们依据其时的了解给出一观念，更多的是为了激起咱们的评论。
4.2 LLM 是否会进入价格战，模型层价格收否终将收敛到云核算的价格？
评论这个问题前，首要需求提出两个问题：
（1）LLM 的价值点到底是什么？是 LLM 供给的信息获取、了解与推理才干，仍是新的人机交互界面的革新？
前者模型的打开方针是进一步前进的杂乱推理和高档智能才干。后者模型的燃眉之急是添加对人类使命的了解力，加强运用东西运用的可靠性和精确性。两者其时的模型打开要点是有细微分岔的。
（2）新进场的 LLM 公司的自我定位是什么？是探究 AI 智能极限的 AGI 公司，仍是地域版的 OpenAI 镜面公司，仍是商业化 LLM 公司？
咱们以为现阶段，复刻 GPT-3.5 和 ChatGPT 实质是工程问题，复刻 GPT-4 以后的 OpenAI SOTA 模型需求的则是算法科研才干。而要探究 AGI，则需求极强的技能洞见，独立的技能判别（OpenAI 不一定是正确答案），真实的 AGI 崇奉和长时间有耐心。
不行否认，GPT-3.5 和 ChatGPT 就现已具有充沛的商业化潜力了。
可是咱们以为从模型才干视点，GPT-3.5 和 ChatGPT 等级的模型才干将在 1~2 年在各个 LLM 团队内拉平。假如公司的模型才干逗留在这个水平，模型 API 的价格战不行避免，终将趋向于本钱。而真实能独占性地继续迭代出 SOTA 模型的厂商才干把握定价权。
另一方面从产品形状视点，API自身不会成为渠道，只会成为通道。以 AGI 模型才干为根底打造具有聚合才干的渠道型产品，占有有利的生态位，才或许摘取更多的价值。
需求声明的是，长时间来看，咱们不以为这一波 AI 浪潮的价值都会被根底设施厂商消化。与国内 2010 年后的第一波 CV（Computer Vision）浪潮不同，如今 LLM 的下流高价值场景十分发散，并不会收敛到 1~3 个（人脸识别在安防、身份认证等）规范场景上。LLM 模型层将取得更多溢价。
4.3 途径不同的 LLM 公司是会分岔仍是收敛？
如上个问题所述，不同自我定位和方针的 LLM 公司会在下一个赛段短期内分岔打开。而长时间的作业需求时间才会有阶段性作用（GPT 道路走了 5 年）。
咱们以为 LLM 模型打开发向很有或许是一个“收敛-发散-再收敛”的过程。短期作业有许多会收敛，接下来在笔直范畴会分岔，当长时间作业有了阶段性作用后会再收敛。
4.4 LLM：开源 VS 闭源？
观察文生图范畴，Stable Diffusion 和 MidJourney 依然在拉锯竞赛。而 LLM 范畴， LLaMA+LoRA 项目遍地开花，人人都可以练习一个大模型。两个生态会怎么演化？
咱们供给一个剖析视点：开源实质是产品研制和 GTM 的一种方法。社区的活泼程度不能等同于商业价值。关于 LLM 的研制，开源是否能供给闭源不具有的价值？无论 GTM 的途径是什么，客户最终买单的是产品价值。开源闭源产品才干或服务体会是闭源产品无法满足的？
4.5 核算根底设施层的增量会有多大？是否有新云的时机？
2023 年 4 月 5 日， ChatGPT Plus 停止新的付费注册，据称是因为微软的核算资源不够了。不论音讯是否属实，LLM 现已而且将继续添加对核算根底设施的需求清楚明了，乃至或许导致云核算职业的洗牌。关于AI关于云核算的增量有多大，取决于人类在比特国际的活动会多大程度被 AI 浸透。这需求对模型才干进行猜测及对每个细分场景进行剖析，今日暂不详细打开。
英伟达 2023 年 3 月的 GTC 大会发布的四款推理渠道中，H100-NVL（2卡，显存94GB*2HBM3）——为什么不是 80G（单卡渠道的显存）*2？因为放不下GPT-3 176B 的参数量。一同，英伟达发布 DGX Cloud 产品，企业可以直接租用集群进行各类 AI 模型练习和 fine-tune，消除了部署和树立根底设施的杂乱性，越过了传统云核算厂商。这让咱们不由置疑，AI 带来巨大核算增量是不是让英伟达燃起了做云核算的野心？
另一个视点，真实远超竞赛对手模型才干的 LLM 公司，是否有时机向下延伸，打出一朵新云？正如前文剖析，核算根底设施是其时生态中确定性最高的可继续获利且有壁垒的的环节。假如 SOTA LLM 和某家云服务独家绑定，下流客户对 SOTA LLM 的粘性很或许高于云服务商，这儿的潜在时机十分值得深化研讨。
毋庸置疑的是，无论是新老玩家，与 LLM 的竞和战略对云核算服务厂商至关重要（就在发文当天，AWS 发布 Amazon Bedrock，正式参加战局）。
4.6 下流运用和东西是否有安稳的生存空间
Jasper 和 Langchain 的遭受引发了创业者的巨大争论：才干快速晋级的 OpenAI 会不会逐渐蚕食下流运用和东西的生存空间？
咱们以为创业者可以拆成 2 层看这个问题：
（1）问题1: AGI 不断晋级的根底模型才干，是否会天然掩盖我的产品中心竞赛力？
假如产品的中心竞赛力完全是模型才干的浅层封装，公司的生存空间天然不安稳。运用层公司应尽力构建自有事务的网络效应或数据堆集。以 Jasper 举例，假如公司可以将中心产品竞赛力从单一的“智能化营销内容生产”转为“最智能的 All-in-One 营销渠道”，那与 ChatGPT 的竞赛担心就会大大减弱。当然这就让 Jasper 面对和 Salesforce、Hubspot 等传统营销渠道的竞赛。各个笔直场景新老玩家谁能胜出，也是一个值得打开研讨的论题。
（2）问题2: OpenAI 为了不断打开 AGI，是否期望取得我场景中的数据？
这个问题就回到了两个数据飞轮间的博弈，且不只仅是技能的博弈。OpenAI 会继续期望取得自己模型没有学习过的非同质化有用数据。
Langchain 的场景具有 OpenAI 期望取得的“开发者经过运用各类东西构建运用，来完结用户使命”的数据，而场景高度依靠 GPT 生态，天然场景和数据都被 OpenAI 回收了；
Bloomberg 则不然。咱们信任拿 Bloomberg 的数据 fine-tune GPT 模型，无论是作用仍是本钱都会优于 BloombergGPT。但 Bloomberg 把握了金融的深度场景、量满足大且满足一同的私有数据，便把握了和 OpenAI 博弈的才干。当然另一个层面的囚徒困境是：假如你挑选不拥抱通用模型生态，是否会输给树立于大模型之上的竞赛对手？
4.7 模型层与运用层的价值分配
首要，因为 OpenAI 实际把握了 LLM 模型的职业定价权，依据咱们对 OpenAI 会继续寻求普惠 AGI 愿景和有限盈余架构的判别，咱们以为 OpenAI 不会主观侵占下流运用的利润空间。
那么当底层 LLM 模型的参数量逐年上升，模型的推理本钱会不会让上游运用无法接受？
咱们判别不会。因为不同智能含量的场景，需求的模型才干和能接受的模型价格都是不同的。举例来说，写 10 条小红书的营销案牍或许需求月薪酬 5000 元的职工 1 小时，而 10 条跨国法律合同修改意见则需求小时薪酬 400 美元的海外律师 1 小时。二者对模型本钱的敏感性明显差许多。
4.8 C 端的超级流量进口？渠道仍是管道（Platform VS Pipeline）？
OpenAI 无疑展示了新一代 C 端流量进口的潜力。可是流量可以成为管道也可以成为渠道，二者的商业价值不行同日而语。
正如 Packy McCormick 在 Attention is All You Need 文章中指出，OpenAI 首先招引了Attention with Intelligence。ChatGPT 现在现已和亿级用户树立了直接的联络，为服务用户供给了较低的边沿本钱，且可以以递减的边沿本钱取得需求驱动的多方网络效应，成为了一个最有潜力的超级 C 端聚合渠道。Plugin 的交互界面和传统 API 完全不同，对 C 端或许产生更深远的影响，今日暂不打开。
一同 Google 依然不容小觑，最近 Bard 将底层模型替换成 PaLM 后，才干大幅前进。其时 Bard 和 ChatGPT 相比，依然很 Nerdy。可是咱们预期，以 Google 的技能深度和各类 10 亿量级用户的 C 端产品，它充沛具有打造新一代以 LLM 为根底的新一代 C 端聚合渠道的潜力。
相比之下，Anthropic 的 Claude 被以为具有 ChatGPT 同等水平的智能，其渠道潜力却远没有被激起出来。
并不是一切 LLM 追随者都能成功复刻 GPT 模型+ChatGPT+Plugin 途径的。正如前文剖析 OpenAI 今日的成便是技能+产品+ GTM 归纳的结果。即便如中国般相对独立的区域商场，也需求真实抢先的技能才干与战略才干结合才干成功。
写在最终
以上是 OneMoreAI 依据原陈述整理的紧缩版，陈述原文中除了对上文说到的信息有更深化和详细的剖析外，也留下了许多问题待进一步研讨和评论。
LLM 职业还在起步阶段，生态仍未安稳，未来充满了不确定性。咱们从逆向工程 OpenAI 的思路动身，测验解说并猜测职业最要害玩家的行为，期望树立一个可以对 LLM 生态进行体系性评论的微观框架供咱们评论，一同迎候这个前史性的 AI 浪潮。
