作者｜Pietro Casella、Patrik Liu Tran

翻译｜贾川、徐佳渝、杨婷

言语（即读写才干）是人类最重要的发明，也是人类与其它物种的最大差异。言语使咱们把握了笼统推理，开展出了复杂思想，学会了与别人交流交流。能够说，没有言语就不会有现代文明。

因而，未来几年大型言语模型（LLM）将极大地影响生成式AI的开展，ChatGPT的敏捷遍及便是很好的例证。此外，LLM还在多种场景得到运用，比方内容创立、代码生成、药物开发、翻译、查找以及工作场所实用程序（例如会议转录和摘要）。

LLM运用实例

总之，生成式AI的最新发展标志着AI已然迈进新年代。 AI如今不再只是研讨课题，而是成为了协助人们处理实践问题的实用东西，在各行各业发光发热。因而，企业必须要重视AI的影响力。
面对AI的开展，企业要当即行动起来，坚持自身竞赛力。长时刻来看，未能与AI融合的公司将在这场竞赛浪潮中日益落后，并逐步消亡。关于企业来说，最要害的是要把控好AI的优势和本钱，采纳必要措施将AI归入开展规划。未来几年将会是商业开展的黄金时期，新兴企业已如雨后春笋般呈现。

本文首要重视LLM，包括LLM和模型相关技能概述，以及它们在实践中的运用。 期望本文能够协助从业者了解怎么在事务中运用LLM，使职业潜在出资者全面了解这一范畴，作出更好的出资决议。尽管咱们供给的结构（例如各类AI公司的分类）适用于一切生成式AI，但这里仍是以LLM示例为主。

（本文经授权后由OneFlow编译，译文转载请联络OneFlow取得授权。原文：
aigeneration.substack.com/p/ais-next-…

1

从Transformer到ChatGPT

AI范畴常有开创性论文宣布，这些论文影响着职业的未来开展方向。LLM范畴中，“Attention Is All You Need”便是这样一篇论文。

这篇文章由谷歌团队于2017年宣布，在文中，他们提出了一种名为Transformer架构，简略来说，与其时的SOTA代替计划比较，Transformer架构具有高度并行性和核算功率，一起具有超高功用。

这意味着，采用Transformer架构的模型练习本钱更低、速度更快，生成的模型功用更好。在不影响功用的状况下，这种低本钱、高效的组合十分重要，它能够让咱们运用更多的数据，练习更大的模型。

受Transformer启示，在Transformer架构的根底上，各类闻名LLM层出不穷，例如：生成式预练习Transformer（GPT）模型、BERT以及XLNet。

有关GPT（1.0）和BERT的论文最早能够追溯到2018年。次年（即2019年）宣布了第一篇关于XLNet的论文。尽管如此，直到2022年末，OpenAI推出ChatGPT后，LLM才进入大众视界，开端风行于研讨界之外。

ChatGPT推出后，不到一周的时刻里，就收获了超百万用户。这种遍及速度十分稀有，几乎逾越了曾经一切的科技产品。台上十分钟，台下十年功，一切的打破性成果必然来自于废寝忘食的尽力。依据GPT-3.5的ChatGPT是LLM范畴多年以来的最重要的成果。实践上，ChatGPT的根底模型并不是最好的LLM，但却是现在最受欢迎的模型。

时刻会证明一切。在咱们看来，ChatGPT最重要的是作为PoC(为观点供给证据)，向国际展示LLM的才干。尽管ChatGPT发布初期十分火爆，但咱们不确定它能否成为主流LLM之一，在实践用例中取得广泛运用。原因如下：

2

根底模型vs专用模型

根底大型言语模型是在许多公开文本、数据（例如，维基百科、新闻文章、Twitter、在线论坛等）进步行练习的。模型练习数据论题广泛，内容冗杂，并不针对特定范畴和使命，这类模型包括：GPT-3，Jurassic-1，Gopher和MT-NLG。

现在，尽管建立在根底AI模型（如ChatGPT）之上的运用程序十分盛行，但咱们估计，专用于特定范畴或使命的模型才干发挥出LLM的真实价值。 因为与相同模型巨细的根底模型比较，在专业范畴里，专用模型的体现一般来说更好。这意味着，咱们需求用更大的根底模型（这也意味着更高的推理本钱和更大的内存占用）才有或许在专业范畴完结与专业模型相同的功用。

专用模型比根底模型体现更好的原因之一与模型对齐有关，即LLM的输出与模型用户的方针和爱好相对应的程度。更好的模型对齐意味着答案是正确且相关的，也便是说正确答复了模型请求的问题。因为专用模型仅重视特定范畴或使命，因而与根底模型比较，专用范畴模型的对齐程度一般更高。

咱们有多种办法完结模型的专用化，其间之一便是运用专用范畴或使命的数据来练习根底模型。 比方，一个根底模型能够很好地答复银行相关的一般问题，可是，假如你想要打造一个专门针对银行的谈天机器人，那么这个通用模型的功用水平就不太够用了。这时，咱们就能够运用银职业相关的数据集来练习这个模型，完结模型专业化。反过来，假如有一家银行想要在客服服务中运用谈天机器人，然后完结简略使命的主动化，此刻银行或许会在实践客户服务对话的专门数据进步一步练习这个专业模型。像这样练习以后，LLM就能学会特定银行按照必定方针的行事办法，毕竟不同银行或许有不同的方针和指导方针。

因为专用模型针对的是特定使命，不触及其它不相关的范畴和使命，所以说，不需求用到很大的根底模型来进行进一步练习。运用更小的模型意味着更低的推理本钱和更小的内存占用，也便是说，比最大的可用模型小得多的根底模型或许会成为专用根底模型的首选。

3

LLM怎么改善?

为了更好地了解LLM的功用和局限性，咱们首要要了解该怎么改善它们。LLM的改善有三个首要驱动要素，分别是：体系结构改善、更大的模型、更多的练习数据。接下来咱们将对这三方面进行逐一介绍。

架构改善是要害，但很难取得打破

架构改善（例如2017年的Transformers架构）能够在不添加模型复杂度和练习数据量的状况下进步LLM功用。现在正在构建的大都SOTA功用LLM仍然是依据Transformer的网络架构（与2017年推出的架构十分相似）。尽管它具有已知的局限性（例如自留意导致的二次方时刻和内存复杂性），但现在还没有广受认可的架构更新。话虽如此，人们一直在不断探索，企图改善架构，并为此推出了所谓的高效Transformers来消除已知局限。

对现有SOTA架构的渐进式改善（如高效Transformers）将逐年打破模型功用界限。此外，每隔一段时刻，职业就会迎来打破性的架构改善（例如原始Transformer架构），这些改善代表着模型功用的跨越式进步。

与添加模型巨细和练习数据量比较，改善模型架构较为困难。模型架构改善遵从传统研制形式，需求大胆立异，且无法保证结果，因而，LLM的此类功用改善最为棘手，一起也是架构渐进式进步与打破向社区发布和共享的规范。除了首要运用先进模型，这意味着这类进步不能作为长时刻优势去与其它构建LLM的公司或对手竞赛。例如，OpenAI的LLM是以Google Brain 2017年发明并公开的Transformer为根底。

LLM改善经典做法：扩展模型规划

现在，为了进步LLM功用，人们将大部分精力放在了添加模型巨细上面。2020年，OpenAI宣布了一篇论文，提出了在添加模型尺度与进步模型功用之间的扩展定律，论文的结论是：人们应该将大部分预算用于扩展模型规划。这篇论文直接推动了增大模型规划的浪潮。下图出自论文Machine Learning Model Sizes and the Parameter Gap，图中显现近年来言语模型巨细呈明显添加趋势。

2019年之前，大大都LLM的参数都在数亿级。2019年，OpenAI发布了有15亿参数的 GPT-2。2020年，谷歌和微软发布了T5和Turing NLG，分别包括110亿和170亿个参数。2020年年中，OpenAI发布了1750亿个参数的GPT-3。从那时起，大型模型开端接连呈现，例如AI21的Jurassic-1（1780亿个参数）、DeepMind的Gopher（2800亿个参数）、Nvidia和微软的MT-NLG（5300亿个参数）以及北京智源研讨院的WuDao 2.0（1.75万亿个参数）。

LLM之所以能够经过添加模型规划来进步功用，是因为这样做能进步模型对复杂现实的建模才干。因为Transformer架构速度快、性价比高，一直是练习大型模型的首选。可是，在同等条件下，更大的模型也意味着更高的练习和推理本钱，一起也意味着更大的内存占用，也便是说，模型需求部署在更大的硬件上。因而，在预算和内存有限的状况下，盲目扩展模型规划并不是进步模型功用的最佳挑选。

大规划练习数据集的竞赛

一直以来，人们都轻视了练习数据在模型功用进步方面的重要性，这种重要性包括质量和数量两方面。2022年DeepMind团队宣布了一篇论文（arxiv.org/pdf/2203.15… ），文中比照了模型巨细和练习数据，最终结论是：大都言语模型明显练习不足。也便是说，在不添加模型巨细的状况下，在更大的数据集上练习模型将受益匪浅。

文中，DeepMind团队练习了一个相对较小的LLM，名为Chinchilla，这个模型只有700亿个参数，但却有1.4万亿个练习token。经过练习，Chinchilla模型的功用逾越了比方GPT3、Gopher、Jurassic-1和MT-NLG等更大的言语模型，这些言语模型的参数都在1750亿-5300亿之间，但练习token却在2700亿-3000亿之间（请参见下表）。这标明为了进步模型功用，人们必将打响练习数据集之战。

此外，咱们还能够经过强化学习来运用更大都据，进步LLM的功用。2017年，OpenAI发布了一类新的强化学习算法：近端战略优化（PPO，arxiv.org/pdf/1707.06… ），是现在职业里的SOTA。在实践中，近端战略优化操作更为简略，并且它的体现能够到达乃至逾越其它代替办法。

ChatGPT背面的LLM现已运用人类反应的强化学习（RLHF）完结了微调（mp.weixin.qq.com/s/sDeBYMvAw… ，步骤如下：第一步：经过监督学习，用人类对不同提示的“抱负”答复数据微调LLM。第二步：LLM 为每个提示供给多个答案，然后由人工对这些答案进行排名（该排名用于练习奖赏模型）。第三步：用近端战略优化模型来优化LLM的奖赏模型。强化学习能够引导模型供给愈加正确、公平、有益的答案。总之，现在的LLM愈加强壮。

事实上，这也是OpenAI将ChatGPT发布为 “免费试用”的首要原因之一（其实你现已经过供给数据的办法付费了）。ChatGPT生成的每个答复旁边都有一个“赞（thumbs up）”和一个“踩（thumbs down）”按钮，用户能够经过这两个按钮来评价模型生成的答复。不管是“赞”仍是“踩”都会呈现一个对话框，用户能够将抱负答案输入框中，而这些答案正是强化学习第一步需求的数据。

ChatGPT的反应循环按钮

理论上讲，只要有足够的资金和相关人才，任何公司都能打造出优质LLM。但咱们估计，科技巨子最有或许打造出功用最佳的LLM，因为这些公司能够取得和办理练习数据，特别是强化学习部分，以进一步改善和微调他们的模型。公司之间的练习数据有很大差异。谷歌、微软、Meta、亚马逊、阿里巴巴和腾讯等公司为数十亿用户供给了不同的服务，所以它们能够找到立异性的办法去搜集相关数据，用以练习LLM。

比较添加模型规划，用更多练习数据来进步模型功用不会添加推理本钱，模型运行时也不会导致更大的内存占用。但这也面临着其它应战，其间最大的应战是，咱们难以保证这些具有数十亿、数万亿练习token的数据集良性运转，然后导致模型发生过错、成见、有害的内容。强化学习或许在必定程度上能够抵消这些不良内容，但难以照顾到各个范畴的LLM。

4

不同类型的AI公司

咱们看到人工智能对这些公司的产品和差异化的重要性，以及他们首要运营的人工智能技能仓库的哪一部分，或许会有很大差异。

在最近的生成式AI浪潮下，许多公司再次将自己标榜为“AI公司”。AI对这些公司的产品和差异化的重要性以及他们所研制的AI技能仓库或许有着本质上的差异。依据此，咱们将这些公司分为以下五类：AI内核（AI Core）、AI赋能（AI Enabler）、AI原生（AI Native）、AI特征（AI Featured）和 AI驱动（AI Powered） 。

人工智能技能仓库

AI赋能公司首要在AI技能仓库的底层，为构建AI模型供给根底设施、东西和数据支撑。AI内核公司的首要事务是构建和出售AI模型，在构建模型的进程中，AI赋能公司为其供给相应支撑，以完结数据获取、模型练习、模型工程和模型测验等使命。

AI原生和AI特征公司处于运用层，它们运用的都是AI内核公司供给的AI模型。不过也有必定差异，AI原生公司的产品或服务的内核价值来自于AI模型的运用，而AI特征公司则是运用AI模型为已有产品添加新的功用。AI驱动公司则处于AI技能仓库的顶层，也便是最终用户所在的层级。

1. AI赋能公司：为AI模型构建供给所需根底设施、东西及数据

AI赋能公司是一类专为构建AI模型供给必要技能的公司。因为生成式AI模型具有巨大的参数集，因而保证牢靠的根底设施以支撑处理工作负载至关重要。此外，还需求供给MLOps东西，以协助模型构建。在AI赋能公司中，供给练习数据、获取数据相关东西的公司最为有目共睹，因为数据是影响模型功用和差异化的重要要素。

从根底设施开端

在LLM范畴，大大都LLM在模型的练习和部署方面高度依靠云服务供给商。三大首要云服务供给商（亚马逊AWS、微软Azure和谷歌Cloud）都有一些在该范畴中具有重要位置的客户。例如，OpenAI正在运用微软Azure渠道，DeepMind运用的是谷歌Cloud渠道，Stability AI则挑选了亚马逊AWS作为其首要的云服务供给商。

跟着LLM的兴起，人们对云服务供给商所供给的存储和核算服务需求不断添加。 假如将LLM的兴起看作是一场继续的淘金热，那么云核算和存储服务供给商就像是这片土地的一切者，人们则是涌向这片土地的淘金者。为了成为核算和存储方面的首选供给商，云服务供给商会尽或许地为LLM的开发者供给最佳服务，这是一个明智的决议计划。

云服务供给商将成为重要的分销途径，例如它们会经过自己的云市场来出售产品和服务，以方便以上云客户运用这些模型。最近，微软的首席履行官Satya Nadella透露，他们将经过Azure OpenAI服务向用户供给ChatGPT模型。咱们信任，未来会有更多这样的比方呈现。

要想成为有竞赛力的云供给商，需求重视多个要素，包括模型练习和运行推理的速度及本钱。例如，Cerebras Systems（mp.weixin.qq.com/s/_JmINzust… 专心于为深度学习运用程序供给核算服务，旨在降低深度学习运用程序（包括大型言语模型）的练习和推理本钱，并将核算速度进步到一般代替计划的十倍。

因为模型的巨细、架构以及练习数据量的不同，练习本钱或许会高达数千万美元，练习时刻会长达数百天。因而，节约本钱和时刻仍将是未来深度学习范畴的重要要素。有趣的是，咱们看到一些区块链公司 （例如加拿大的Hut 8 Mining）正在将其硬件从头用于AI模型练习和推理，这一转变有望加快新参与者进入该范畴。

便利性和易用性也是云服务供给商需求考虑的另一重要要素。 云服务供给商能够经过优化底层硬件来练习一般的深度学习模型及特殊的深度学习模型（如大型言语模型），无需用户进行许多的手动调整。

此外，练习大型言语模型需求大规划的核算集群，而租借这些核算集群一般需求签订多年的合同，这种办法关于顾客来说缺少灵活性。因而，供给愈加灵活的短期租赁办法对顾客来说更具吸引力。

用于模型工程、开发和测验的东西

MLOps（机器学习运维）是一种将机器学习模型整合到软件开发周期中的实践和流程，旨在让机器学习模型在生产环境中坚持高功用和高牢靠性。关于LLM来说，这触及到模型工程、开发和测验。

在模型工程和开发阶段，机器学习研讨人员和工程师一般运用像TensorFlow、PyTorch这样的库和结构。在模型开发完结后，需求对模型进行测验，然后再部署模型。

LLM模型与其他机器学习模型相同，都能对练习数据中的信息进行编码，并在推理阶段对信息进行解码。可是，因为其练习数据首要是人类的书面对话和文本，因而或许存在成见。大家或许都还记得，微软推出的一款谈天机器人Tay，该机器人是经过Twitter数据进行练习的。可是，几个小时后，该机器人就开端宣布带有种族主义色彩的言论。

此外，互联网中存在着许多的过错信息，咱们从中搜集了许多LLM模型所需的练习数据。假如不对练习数据进行质量验证，模型就或许遭到过错信息和人类成见的影响。

现在，还没有一个可扩展、主动化的企业生态系统，能够监控和验证文本形式的非结构化数据的质量和有效性。 跟着LLM服务越来越受欢迎，为了满足人们对此类服务的需求，咱们当然需求采纳一些主动化的办法来履行这些使命。因而，咱们估计在未来这一范畴会有许多的或许性。乃至或许会呈现专心于评价文本数据质量及有效性的LLM模型。

在模型测验方面，有许多人们广泛承受的基准可用于评价LLM的功用。 其间一个比方是斯坦福大学的一组研讨人员供给的全面评价言语模型（HELM）。HELM是一种全面评价LLM功用的基准，它涵盖了多个方面的目标，如准确性、校准性、鲁棒性、公平性、成见、有害性和功率。尽管如此，HELM仍不能彻底反映出实践言语模型功用的全貌。据屡次报导，在基准测验上体现杰出的模型，在实践测验中或许会体现不佳。

OpenAI产品负责人Frasher Kelton在一篇博客文章中供给了一个很好的比方，该比方标明当模型在某个使命上体现更好时，或许在另一个使命上体现更差。此外，在实践运用中，除了准确性、公平性、有害性等目标，推理本钱和延迟也是十分重要的衡量规范，需求与其他目标一起进行权衡和归纳考虑。

鉴于此，Kelton提出了一种更抱负的测验办法，即需求经过不断地试错和探索来判别模型是否合适推向生产环境。可是，这种办法并不抱负。因而，咱们或许会看到在这个范畴中会呈现几家大公司，来供给更完善和可信的处理计划。

数据搜集

数据搜集的第一步一般是获取许多的文本数据集。开端的数据集一般来自于免费敞开数据源，这些数据能够在模型中心（如Hugging Face）中找到。它们或许包括成千上万个数据集，每个数据集包括数百万乃至数十亿个单词。假如用户条款答应，你还能够经过爬取网站和运用程序来获取文本数据。一些潜在的有趣数据来历有维基百科、博客文章、论坛、Linkedin和Twitter。

除了免费敞开数据源外，大大都LLM构建者仍然会搜集额定的数据。此处，咱们强调了三种首要的数据搜集战略：数据标示、组成数据生成和经过反应循环进行数据搜集。

以数据标示公司Scale AI和Labelbox为例，它们供给了高效的数据标示东西。此外，引荐一个免费的开源代替品Labelstudio。咱们猜测，未来标示技能供给商将整合LLM，为用户供给标签。这样，用户只需求核对和同意这些标签，无需从头开端实践标示（actual labeling）。最耗时的标示使命将被主动完结，然后进步了标示功率，使得标示数据的数量呈指数级添加。

运用Labelstudio能够轻松符号新数据

组成数据指的是生成人工数据的进程。其间，最常见的用例是当你因隐私维护而不能运用真实的原始数据时，你要么抛弃数据，要么想出一些巧妙的办法对数据进行匿名化，一起仍然保留感爱好的信息。假如你挑选后者，就需求运用组成数据。Mostly和Hazy是该范畴的两个比方。

如上文“更多练习数据竞赛”一节所述，依据人类反应的强化学习能够明显进步模型功用。可是，要履行强化学习，需求必定类型的练习数据。例如，在第一步中，需求为不同的prompt供给所需的答案。这些数据与所运用的模型无关，能够由第三方数据供应商供给。

接下来，人类需求对依据某一prompt生成的不同答案进行排序，这一步取决于所运用的模型，并且需求有人对想改善的实践模型的答案进行排名。因而，未来或许会呈现一些公司，它们会供给第一步所需的数据集，并为第二步供给咨询服务。

此外，还将涌现出一些东西，以简化搜集和供给此类练习数据的进程。 假如你想大规划搜集此类数据，那么就需求运用简化数据搜集和处理进程的相关东西。Humanloop公司则供给了一种软件开发东西包，能够从用户那里获取AI的答案反应。

咱们能够在ChatGPT（mp.weixin.qq.com/s/PteNTHckN… 和Jasper（mp.weixin.qq.com/s/skrrjxJg7… 中观察到这些反应循环的详细比方。如前文所述，ChatGPT答运用户供给“赞”或“踩”作为生成答案的反应。比较之下，Jasper供给了更多的反应细节和选项，让用户能够对文本进行赞、踩、符号收藏、删除或编辑修正。编辑后的文本能够显现出抱负答案的特点。

Jasperai供给了多个反应回路

2. AI内核公司构建模型

AI内核公司致力于构建实践的大型言语模型，并将模型的商业化作为首要的收入来历。OpenAI是其时最为闻名的公司，不过也存在许多其他公司，如AI21、Anthropic和Cohere。请参阅以下示例，了解OpenAI、Cohere和AI21的API测验渠道（playground）和输出。

OpenAI、Cohere和AI21的API测验渠道比照

AI内核公司能够挑选对模型闭源或开源。闭源公司一般用API来隐藏其模型以维护它们。现在，闭源公司一般会按API调用次数向客户收取费用。

以下是OpenAI关于GPT-3的定价截图，因为所需模型的功用水平不同，API调用的本钱也会不同，运用功用较好的模型比运用功用较根底的模型贵重。此外，还存在推理速度上的差异，以满足你对各种用例的时延需求。换句话说，你能够依据自身的实践需求挑选合适的LLM功用水平，并在相关本钱和功用之间取得平衡。

OpenAI的定价形式

像Jasper这样的公司（mp.weixin.qq.com/s/skrrjxJg7… ，开端会在一个由AI内核公司构建的闭源LLM上构建他们的整个产品， 这意味着他们没有实践的LLM知识产权。这是这些公司面临的首要风险之一，因为这使他们无法控制模型，无法依据自己的需求进行专业化改善。此外，闭源模型一般比你能够自己保管的开源代替计划愈加贵重。

开源模型的AI内核公司则不会有这些忧虑。即便他们供给了LLM模型代码，许多公司也没有才干以强壮、可扩展的办法将LLM模型投入生产并供给服务。因而，开源供给商一般经过模型保管服务来获取收益。其时，一些安排致力于构建开源LLM模型，例如Eleuther、Together 和BigScience/Huggingface等等。值得一提的是，谷歌和Meta已决议开源其间的许多模型。

现在，大大都AI内核公司供给的是通用根底模型。依据咱们在“根底模型vs专业模型”一节中的猜测，LLM模型的最大价值将来自于专用化的模型。

因而，关于AI内核公司而言（不管是挑选闭源仍是开源），他们能够供给根底模型，然后让客户运用自己的数据来练习这些模型，然后得到在特定范畴体现更好的、专门针对客户需求的专用化模型。 这项服务将成为AI内核公司的一个重要的收入来历。AI内核公司还将供给越来越多的专用化模型，AlphaFold便是一个典型的比方，它专心于蛋白质结构范畴。

3. AI原生和AI特征公司打造具有杰出用户体会的AI运用

需求留意的是，运用LLM模型的大大都用户并非AI专家。因而，仅供给LLM模型的API并不能协助他们处理任何问题，这便是为什么用户体会十分重要的原因。

跟着根底AI模型的日益遍及和专用化模型的开发越来越简略（得益于一些公司供给的支撑，加快了模型专用化的进程），用户体会的重要性将会进一步进步。因而，在用户体会层面的差异将变得愈加要害。

Jasper的开展历程（mp.weixin.qq.com/s/skrrjxJg7… 是一个极好的比方，展现了用户体会的重要性。该公司建立仅18个月后在A轮融资中筹措了1.25亿美元，估值到达了15亿美元，其时他们吸引了将近10万付费客户，年收入到达7500万美元左右。

Jasper开端没有自行构建任何LLM模型，而是挑选了运用OpenAI的GPT-3作为根底，经过API接口构建出用户体会更好的运用。换句话说，他们愈加重视开发易于运用和吸引人的运用，而不是自行构建LLM模型。 在规划进程中，他们考虑了一些要害问题：

• GPT-3 API的prompt输入应该是什么样的？
• 输出应该怎么呈现？应该呈现多少条输出建议？
• 用户存储和排名不同的备选计划是否易于操作？
• 这个东西怎么融入案牍撰写的整个工作流程中？

尽管Jasper.ai和竞赛对手Copy.ai几乎是在同一时刻运用OpenAI GPT-3 API构建其运用程序，可是Copy.ai在最终用户中的影响力远不如Jasper.ai。形成这种差异的要素或许有许多，其间用户体会是一个要害要素。

一个需求考虑的重要问题是：用户体会（UX）层与底层的LLM之间能有多大的独立性？在更改运用程序的底层LLM时，是否能够防止对用户体会发生负面影响？关于LLM的渐进改善（如运用更大都据进行练习，进行微调或专用化），用户体会层一般不会呈现太多负面影响（相反，或许会发生积极作用）。

可是，关于LLM的重大革新，后果或许会更大。例如，大大都LLM现在只会从用户提示中获取信息并返答复案。因而，运用弄清问题来添加答案的相关性，将有助于进步模型的准确性。能够说，那些构建在LLM之上的公司正在创造出杰出的用户体会来补偿底层模型的不足之处。

实践上，GPT-3不会问询弄清问题，也不能一直供给完美的答案。因而像Jasper这样的公司就应运而生，他们能够供给多个答案，并答运用户轻松修正答案并对其进行排名以补偿缺陷。可是，当缺陷直接在底层的LLM中被修复时，这些公司必须寻觅其他办法在运用程序层面供给价值，以坚持他们在职业中的竞赛位置。

依据AI模型对产品价值建议的重要程度，咱们能够将运用程序层面的公司分为两类：AI原生公司和AI特征公司。

AI原生公司：将AI模型作为产品核心价值建议

AI原生公司（AI Natives）指的是那些价值建议彻底依据运用AI模型（如LLM）的公司。这类公司自己不创立AI模型，而是运用商业版的GPT、Google T5和Anthropic以取得本钱和功用方面的优势。前面说到的Jasper.ai和Elicit.org（该公司创立了一个UI，答运用户用自然言语阅读一切科学出版物的库）都归于这类公司。

Elicit.org的研讨查找引擎

人们就AI原生公司的护城河展开了剧烈的辩论，争议点在于：假如公司“仅”在别人AI模型的根底上供给具有超卓用户体会的UI，那么公司的事务护城河究竟怎么？

假如ChatGPT现已存在，那么建立像Jasper.ai和copy.ai这样的公司又是否可行？不管答案怎么，就现在状况而言，几个AI原生公司已敏捷取得了许多客户，一起筹措到许多资金。有了资金保障，这些公司就能招募团队，自己构建根底模型，深入研讨技能并完结真实具有模型。速度和立异关于这类公司至关重要：尽管它们能够经过依靠别人的LLM敏捷开启自己的工作，但也需求快速适应才干存活下来。

AI特征公司：运用AI模型来改善现有产品

AI特征公司（AI Featured）将AI模型与现有产品相结合，以创立附加功用。关于这类公司而言，AI功用并不是其产品的核心（至少在开端是这样） 。

生产力东西Notion便是一个很好的比方。Notion本是一个记事东西，但最近添加了一个快捷办法，用于经过prompt生成文本（基本上是简略调用OpenAI的API）。尽管这不是Notion的核心功用，但关于其用户来说，却是一个很有价值的补充功用，因为这使得用户能够直接在Notion中生成文本，而不用在其他当地生成好再仿制粘贴过来。

Notion新的AI功用

Google Docs也运用AI模型来供给主动完结功用。尽管Google Docs的首要价值建议与主动完结功用无关，但该功用进步了用户的生产力，因而得到高度好评。Canva也是相同。Canva本是一个用于创立演示文稿的东西，但经过运用AI模型，演示文稿的文本和图形都能够依据用户的prompt和反应来主动生成。

上述比方标明：用户体会是否超卓关于AI模型的成功至关重要。那么怎么运用LLM来供给超卓的用户体会？要害点在于将AI模型深度集成到你想用LLM所处理使命的现有工作流程中。 这也是现在这类公司中成功事例的规范做法。因而，估计将来还有许多AI特征公司都将成为各自范畴的赢家。

话虽如此，但也有许多公司将AI功用集成到其产品后，并未给其用户带来多少额定价值。这些公司或许只是为了赶生成式AI的热潮。因而，区别哪些公司的AI特功用够真实进步用户价值十分重要。

4. AI驱动公司：智能公司和增强人类生产力

AI驱动类的公司消费AI产品但不供给任何AI运用程序或AI模型。 这是现在市面上数量最为庞大的集体，估计在不久的将来，所以公司都将成为AI驱动公司，其大大都产品和服务都将包括某种AI功用。这个进程一般需求两步：

第一步，公司内部某些职工会依据自己的需求来运用AI产品进步工作功率。例如，营销经理或许会运用Jasper或 ChatGPT来编写案牍，而客户主管则能够运用LLM为潜在客户定制电子邮件。

第二步，AI产品的运用办法愈加系统化。此刻AI产品的运用范围不再局限于公司内部单个职工，高层办理人员也开端运用AI来制定战略方针。公司也由此转型为“智能公司”。例如，BuzzFeed在裁人12%后，其首席履行官Jonah Peretti计划运用AI来编辑文章和协助商业运营操作。他估计AI的参加将会在短期内进步职工的生产力，并且在15年后，AI则能够自主生产内容并供给个性化服务。在该音讯宣布后的一个交易日内，BuzzFeed的股价就上涨了超150%。

AI能进步智能公司的主动化程度。上一个主动化年代首要围绕机器人流程主动化（RPA）展开，整个进程按照人类主导的依据规矩的脚本来展开。而新年代的主动化一般将围绕生成式AI（Generative AI ）来运作，尤其是LLM。

运用LLM时，咱们能够逾越依据规矩的脚本，主动化更多异构使命，而不必给出清晰指令。 这些使命包括但不限于欺诈检测、简化客户服务使命、内容生成、会议转录、会议总结、法令文件剖析等。

此外，LLM还将在构思、评论、处理问题和决议计划进程等多方面进步公司职工的才干。这种才干也将自然地集成到公司运用的日常东西中，如Slack、Zoom和Notion。换言之，LLM能倾听对话并适时作出贡献。假如权限够大，LLM还能存储公司一切交流内容，然后打破耗时且本钱高昂的知识孤岛。

现在仍有许多公司尚不清楚生成式AI会对其未来开展带来多大影响。实践上，大大都公司都应该认真思考是否应该运用AI以及怎么运用AI来进步生产力。因为在完善服务、进步质量以及控制本钱方面，这或许便是拉开距离的当地。

5. AI技能全栈公司

尽管咱们依据AI公司在技能栈的哪个部分集中投入最多来将其分类，但实践状况并不总是那么黑白分明。不管类别怎么，AI公司一般都需求与整个技能栈进行互动和协作。

首要，AI赋能公司供给练习数据，AI内核公司用这些数据来练习LLM，然后AI原生或AI特征公司运用LLM来开发运用程序。

如上文所述，运用层的公司有许多机会来搜集用户反应数据，而这正是强化学习LLM所需的数据类型。换句话说，运用层的公司一般既是运用程序供给者，也是数据供给者。要具有从数据到运用层的整个技能栈，它们仅有缺失的部分便是模型层。实践上，Jasper.ai最近宣布开端构建自己的LLM，这将使他们具有从数据到运用层的整个价值链。

同样，OpenAI最开端在模型层，跟着ChatGPT的推出，他们进入了运用层，经过搜集人类反应练习数据，他们现在现已能够进入数据层。换言之，他们也开端具有整个AI技能栈的价值链。在未来，这样的比方将会越来越多。

5

未来开展

期望这篇文章能使你对生成式AI和LLM有个大致了解。不过，咱们现在仍处于这个新年代的早期阶段，未来几年的发展乃至会超越前几十年的的累积之和。以下是值得进一步评论的八个问题：

1.生成式AI的淘金年代：继2022年高度重视Web3和加密货币后，出资者和企业家现已将重心许多转向了AI，尤其是生成式AI。现在已有许多本钱进入该范畴，这不由得使咱们想起了2021年，心中自可是然生出一个问题：这会不会又是一场没有结果的炒作？

自1956年AI诞生以来，AI范畴就一直担负着人类很高的期望。每当这些期望无法被满足时，AI就一次次进入了“隆冬”（指社会对该范畴爱好骤减且缺少资金支撑的时期）。但跟着生成式AI的不断开展，这样的日子现已一去不复返了。在恰当用例上，AI能够供给巨大的价值。可是，因为一些出资者在不了解状况下盲目出资，导致估值虚高，因而该范畴或许会呈现过热现象。话虽如此，咱们始终坚信AI的黄金年代已然到来。

2.智能安排和增强职工生产力：如上所述，AI驱动公司将运用AI增强来完结使命主动化和改善决议计划才干，以此来进步生产力。有研讨报告指出：Github Copilot能够使开发速度进步55％，这意味着经过运用AI模型，开发人员的生产力将明显进步。这很或许只是个开端，LLM在代码生成方面会变得越来越好，乃至开发人员或许进入无代码年代。

就其他范畴而言，比办法令、市场营销、出售、客户服务，也有望以类似的办法进步生产力。最终每个职业中的每个公司都将思考：这对咱们意味着什么？在这场革射中，每个公司只能挑选参加或者被参加。

3.专用模型的崛起：估计大部分价值将来自于专业模型而非根底模型。因而，未来咱们将会看到越来越多的专用模型，比方用于银行客户服务的模型就不需知道怎么以说唱风写诗歌，并且还能够为个人使命或所属范畴而打造更小的专属模型。

咱们猜测：实践上关于像OpenAI、AI21和Cohere这样的AI内核公司来说，开宣布能让客户在他们根底模型上轻松创造出专业化模型的功用至关重要，因为一切人都在等待该功用，以解锁LLM的下一个价值级别（next level of value）。

除了经过专用模型完结杰出功用外，运用层的公司还将取得一种私有模型，使得这类公司不仅是建立在根底AI模型（每个人都可拜访）之上的不错UX。

4.多模态模型：尽管本文首要重视言语模型和文本数据，但生成式 AI 还包括其他模态，例如图画和声响。近来，人们正尽力将不同形式组合到AI模型中，打造具有多模态输入输出才干的模型。最近，Google Research团队宣布了一篇论文（arxiv.org/pdf/2301.11… ），展示了怎么将文本转化成音乐。这种模型本身就很强壮，有了这种模型，没有音乐布景的人能够经过自然言语描述，生成音乐。但试想一下，假如咱们将这种模型与图画转文本才干相结合，会怎么样呢？这意味着咱们能够运用AI剖析视频内容，生成描述性本文，最后由AI配上合适的音乐。别的，咱们还能够反过来操作，假如现已依据文字提示生成了音乐，现在咱们还能够用AI来生成相应视频。要做到以上这些，咱们只需求向多模态模型宣布一条指令。

黄仁勋（mp.weixin.qq.com/s/S4A-6mgTk… 是英伟达的创始人兼首席履行官，他曾于2023年1月拜访瑞典，在那期间，咱们曾与他评论英伟达在生成式人工智能范畴的要点。他说到英伟达不再像曾经相同集合于单一形式，例如MT-NLG，而是致力于构建多模态模型。

5.人类反应的强化学习（RLHF）的重要性：尽管人类反应强化学习已呈现多年，但还说禁绝它会对LLM的功用发生怎样的影响。

咱们估测，与GPT3比较，GPT4在初始练习数据和强化学习数据添加的状况下，其功用将取得跨越式进步。因为ChatGPT的遍及，OpenAI为强化学习积累到了史无前例的海量数据。尽管初始练习数据与强化学习的人类反应数据之间的相对重要性还未可知，但咱们以为，强化学习很有或许便是GPT-4的秘密武器（mp.weixin.qq.com/s/sDeBYMvAw… 。

6.扩展的重要性：如上所述，运用层公司能够搜集相关的人类反应进行强化学习。假如上面第五点关于人类反应数据重要性的猜测是正确的，那么具有许多顾客的运用公司将能够集合海量专有、要害数据，以改善模型。

考虑到微软与OpenAI的协作伙伴关系，在这场由AI主导的竞赛中，其它媒体都以为微软会是注定的赢家，但咱们不能忽略Meta、谷歌、苹果、亚马逊、阿里巴巴和微信等公司，因为他们具有大型面向客户的运用程序。要记住，数据才是改善大型言语模型仅有真实有效的代替计划，因为模型规划和结构都能够被仿制（依据一些研讨文章）。

7.更多的公司将成为数据公司：因为练习LLM需求许多的对话数据，所以那些能够大规划搜集此类数据的公司将遭到高度重视。比方Twitter，它搜集了最大的对话数据集之一。ChatGPT背面的模型便是在Twitter数据进步行练习的，但Elon Musk知道后当即叫停了这类练习。或许未来Twitter的大部分收入将来自于出售对话数据拜访权? Meta具有Facebook、Instagram 和Whatsapp，是另一家能够拜访许多对话数据的企业，试想一下，假如Meta的对话数据成为一项独立事务，会发生多么大的价值呢？

8.大众舆论和监管的焦点仍在于AI道德及其社会影响：版权问题、模型可信度、劳工问题和网络安全等论题已引发剧烈辩论，乃至或许引起监管组织的留意。公司应谨慎应对监管环境。现在现已有许多法规示例即将出台，例如欧盟AI法案和中国禁止创立无水印的AI生成媒体。现在的监管还处于不确定时期，在此之前，期望每个人都贡献一份自己的力气，在AI运用中坚持公平正义。

欢迎 Star、试用 OneFlow 最新版别：
github.com/Oneflow-Inc…