编者按：现在根基模型（Foundation Models）的运用和相关立异正在快速呈现，但仍有很大的提升空间，现在还无法充分发挥根基模型的潜能、将其高效快速地运用于企业级AI运用中。

根基模型的加快运用和落地，带动了基础设施和东西范畴的立异。本期IDP Inspiration，咱们为咱们带来的是创投机构Madrona关于根基模型的开展研判，和咱们一同从出资人的视角探寻根基模型开展带来的AI Infra新时机。

以下是译文，Enjoy!

作者|Jon Turow,Palak Goel&Tim Porter

编译| 岳扬

人工智能范畴现在的活动速度简直令人惊讶。依据根基模型(Foundation model)，生成性AI运用程序和运用于数据的杂乱推理的更大范畴的运用程序正在快速增多。 这些运用程序从实际的（加快代码开发[1]和测验[2]、法律合同[3]和奥斯卡提名电影的出产[4]）到有趣的（多模态生成说唱对决）再到引人深思的（在美国医学执照考试中或挨近经过水平）。而根基模型的才能、模型准确性和基础设施的演化速度至少与之相同快。

假如一切这些感觉都不同，那是由于它们的确不同。曾经云核算的呈现供给了曾经不或许的核算才能，使得包含变换器(Transformer)模型在内的核算机科学的新范畴成为或许。该模型[7]可以让人们运用云核算来构建更大的模型，这些模型更好地推行，并且可以完成新任务，例如文本和图画生成、汇总和分类。这些更大的模型现已显示出杂乱推理、常识推理和超出分布稳健性的才能[8]，而更小的、更专业化的模型都不具有这些才能。这些大型模型被称为根基模型(Foundation Models)，由于开发人员可以在它们的基础上构建运用程序。

然而，虽然立异活动和步伐在飞速开展，未来依然明显不够快，根基模型和生成式人工智能尚未到达目标。

构建者们面临一个不太令人满意的选择：打天下（时机根基模型构建运用）简单守天下（构成护城河）难，或许相反。 在前一种情况下，根基模型答应开发者在一个周末（或几分钟）内创立运用程序，而此前需求几个月。可是，开发人员遭到那些专有模型的现成功用的约束，其他开发人员也可以运用，这意味着开发人员有必要赋有发明力，找到差异化的来历。在第二种选择中，开发人员可以扩展开源模型体系结构的功用，以构建一些新颖且易于构成护城河的东西。但这需求极高的技能深度，仅有极少数的团队具有这种才能。才能会集在少数人手中与一个职业蓬勃开展所需求的恰好相反——咱们需求更多的力量分散到更多的人手中，而不是愈加会集。

可是，假如咱们将大规模根基模型视为一种新的运用程序平台，提取出更广泛的技能栈，就会发现那些应战是创业者的时机。咱们上一年晚些时候写了一篇文章，描绘了这个栈，并预测东西层的呈现。该栈开展如此之快（东西层也现已快速构成！），现在值得再次审视。

纵观当今根基模型栈的状况，咱们发现了三个创业时机：

1）开发新颖的运用程序：技能最先进的团队面临着广阔的远景。有许多立异可以做，特别是在信息检索，混合模态和练习/推理功率方面。这个范畴的团队可以推进科学的界限，创立曾经不或许的运用程序。

2）寻觅差异化：具有超卓想法但仅有前期技能才能的团队现在可以访问东西，使得可以运用更丰厚的记忆/上下文，更丰厚的外部数据源和API，以及评价和缝合多个模型的才能来构建更丰厚的运用程序。这为创始人供给了更广泛的途径构建新颖且易防御的产品，即使他们现已运用了广泛可用的技能。

3）开发东西：喜欢基础设施的团队现在有一个高功率的时机，可以在编排Orchestraction（开发人员结构，数据源和动作，评价） 和根基模型操作（布置，练习和推理的基础设施和优化东西） 方面构建东西。愈加强壮和灵敏的东西将加强现有开发者的才能，并使根基模型栈可以被更多的新开发者运用。

1 根基模型Foundation Models

开发根基模型的人面临一个不招引人的权衡——即依据模型构建新的运用程序的难易和对模型维护的难易之间的权衡，该权衡源于核心基础模型的树立和开源方式。 开发者今日有必要在 iPhone/Android，Windows/Linux 风格的战役中选择一方，在每一方都有痛苦的退让。

一方面，咱们看到来自 OpenAI、co:here 和 AI21 等高度杂乱、快速演化的专有模型（咱们也可以把谷歌加入到这个名单中，由于他们在这些模型上花费的时刻比任何人都长[9]，并且方案将模型外部化[10]）。另一方面是开源架构，如 Stable Diffusion[11]、Eleuther、GLM130B、OPT、BLOOM、Alexa Teacher Model 等，都在 Huggingface[12]上组织成社区中心。

1.1 专有模型

专有模型是由具有雄厚资金和技实力的供给商所具有的，这意味着他们可以供给职业领先的模型功能。它们的现成模型也意味着开发人员可以轻松上手。Azure的新OpenAI服务使得入门变得比以往更简单，咱们估计这将加快开发人员的试验速度。

这些人也在考虑本钱——OpenAI 在2022年末将价格降低了60%，Azure 也相应的调整了价格。可是这里的本钱依然很高，约束了商业形式的可持续性开展。按座位许可证（per-seat licenses ）和依据运用定价（consumption-based pricing）等形式在前期很普遍，这些可以持续。可是广告支撑的事务模型或许不会发生满足的收入来覆盖这一水平的本钱。

1.2 开源模型

开源模型的功能不如专有模型，可是在过去一年中有了显著改善。更重要的是，技能杂乱度高的建设者可以具有扩展这些体系结构的灵敏性，并树立尚不或许用专有模型完成的差异化功用（这是咱们喜欢 Runway 的原因之一，Runway 是一个下一代内容生成套件，供给实时视频修正、协作等。为了支撑一切这些功用，Runway 持续对多模态系统和生成模型的科学做出深化奉献，以加快 Runway 的客户的特征开发）。

专有根基模型和开源根基模型之间的紧张关系现已像iPhone/Android 的战役相同。专有模型的优势是功能和易于上手。开源模型的优势是灵敏性和本钱功率。 可以必定的是每个阵营都会加大出资以处理其缺点（使 OSS 模型更简单上手，并使其有或许更深化地扩展OpenAI模型），一起也要充分使用它们的优势。

2 Tooling / Orchestration

强壮、灵敏的东西可以使现有开发者的才能变得愈加强壮，使更多的新开发者可以运用根基模型技能栈。

咱们在2022年10月写道[13]：“根基模型并不是’just work’仅运行即可，由于它们仅仅广泛的软件栈中一个组成部分。现在，从根基模型中得到最好的推理作用，需求运用开发者采纳许多辅助办法“。

咱们的确看到开发人员在软件栈的这一层次上有亲近关注。许多最酷的、回报最高的作业将在未来几个月内发生在软件栈之上，特别是在开发者结构、数据源、优化办法以及评价方面。

2.1 开发者结构

过去的经验告知咱们，结构（dbt，Ruby）关于将大型运用程序的各个部分连接起来是很有用的。根基模型开发结构让开发者很简单地将比如跨多个调用的Context、提示工程和根基模型的选择（或多个模型的顺序） 结合起来。研究人员现已开端量化[14]这些运用根基模型构建的运用有多么强壮。LangChain[15]、Dust.tt[16]、Fixie.ai[17]、GPT Index[18]和Cognosis[19]是这部分软件栈中最招引开发者的项目。欠好描绘上手其中一些结构是多么简单。可是演示起来真的很简单，所以咱们现在就给咱们演示一下。下面是LangChain开发者指南中的四行入门代码：

这样的开发者结构使入门运用根基模型变得十分简单，甚至简直成为一种趣味。敏锐的开发者或许会注意到，经过上面的代码，假如开发者想要更换已发动的运用程序底层LLM/FM，简直不费吹灰之力。从长远来看，使开发变得更简单往往会带来更多的开发者，并加快新运用程序的呈现。在东西层面的立异速度现已十分快，这为东西的开发者和运用东西创立新运用程序的开发者发明了许多时机！

2.2 数据源和优化办法

现在根基模型只会推理它们承受练习的那些事实。但这关于需求依据改变极快的现实数据做出决议计划的运用开发者和终端用户来说，是个很大的约束，比如气候、金融市场、旅游市场、供给库存等等。因而，当咱们想进行“hot” information retrieval时，这将是一件大事。在这种情况下，咱们不需求练习或修正模型，而是让模型调用外部数据源并实时推理这些数据。Google Research和Deepmind在这个方向上宣布了一些不错的研究论文[20]，OpenAI也是如此。所以，“hot” information retrieval时代行将到来，特别是现在在这个范畴的研究成果转商业运用的速度十分快。

上述说到的开发者结构预见到了根基模型科学的演化，并开端支撑一些外部数据源。依照相似的思路，开发者结构也将支撑一些”下游“范畴的概念（比如调用外部API，如Salesforce、Zapier、Google Calendar，甚至AWS Lambda serverless核算函数）。经过这些外部数据和优化办法的整合，许多新型根基模型运用将变得或许，而这在曾经是很难或不或许的，特别是关于在专有模型之上构建运用的前期团队。

2.3 评价

咱们在2022年10月[13]写道：“咱们有必要小心翼翼对待根基模型，由于咱们永久不知道它们会说些什么或做些什么。这些模型的供给者，以及树立在它们之上的运用开发者，有必要承受承担这些风险的职责。”可以预见开发人员在这方面很快就会变得愈加成熟。Academic benchmarks（学术评价基准）是评价模型功能的重要过程。可是，即使是像HELM这样最杂乱的评价基准也是不完美的，由于它们不是面向一切用户群或一切特定运用事例而设计的。

最好的测验集来自于终究用户。生成的建议中有多少被承受？chatbot有多少次对话的 “转机”？用户在一张特定的图片上停留了多长时刻，或许他们分享了多少次？这些类型的输入总体上描绘了一种形式，然后开发者可以用它来定制或解说一个模型的行为，以到达最大作用。HoneyHive[21]和HumanLoop[22]是两个典型的公司，它们协助开发者迭代根基模型架构，修正提prompts，过滤和添加新的练习集，甚至提炼模型以进步指定用例的推理功能。

3 Tooling / FMOps

核算是根基模型公司的主要本钱驱动要素，制约了他们可以选择的商业形式。新一代的布置优化、练习东西和基础设施，正在协助开发者解锁新的商业形式。

根基模型对练习和推理有巨大的核算要求，需求许多的专业硬件，这导致运用开发者面临高本钱和运营约束 （吞吐量和并发量） 。大公司有实力来保持，微软在2020年建设了国际前5名的超算基础设施用于支撑OpenAI开展。可是，即使是巨头公司也面临着供给链和经济上的约束。因而，练习、布置和推理优化是出资的关键范畴，在这里咱们看到了许多的立异点和时机。

3.1 练习

现在开源根基模型的修正和再练习比以往要简单。 最大的根基模型（foundation models）练习费用超越1000万美元，而Chinchilla[23]和Beyond Neural Scaling Laws[24]等论文标明，根基模型可以用50万美元甚至更少的费用练习，这意味着更多的公司可以自己创立根基模型。现在，AI从业者可以获取许多大规模的数据集，如LAION[25]（图画）、PILE[26]（多样化的言语文本）和Common Crawl[27]（网络抓取数据）。他们可以运用Snorkel[28]、fastdup[29]和xethub[30]等东西来策划、组织和获取这些大型数据集。他们也可以访问HuggingFace获取最新和最强壮的开源模型架构。他们还可以运用来自Cerebras[31]、MosaicML[32]等练习基础设施来大规模地练习这些模型。这些资源关于使用最新的模型架构、修正重构这些架构的代码，然后在公共和专有数据的基础上练习私家模型是十分强壮的。

3.2 布置和推理

持续的推理本钱没有像练习本钱那样急剧下降。大部分的核算本钱将终究用于推理，而不是练习。推理本钱终究对开发者造成了更大的约束，由于它也约束了公司可以选择的商业形式。 Apache TVM[33]等布置结构以及蒸馏和量化[34]等技能都可以协助降低本钱，但这些都需求相当的技能深度才能运用。OctoML[35]（TVM的开发者）供给可以降低本钱和布置时刻的办理服务，并能最大化使用许多算力硬件。这使得更多开发者可以运用这些类型的优化，一起也让开发者可以更有效地作业。许多托管推理公司，如Modal Labs[36]、Banana[37]、Beam[38]和Saturn Cloud[39]，也想要使推理比直接在AWS、Azure或GCP等超级服务器上运行更具本钱效益。

4 #HereWeGo

关于大规模foundation models（根基模型），咱们才刚刚开端触及外表。大型科技公司和资本雄厚的初创公司正在大力出资于更大、更好的模型、东西和基础设施。但最好的立异需求无畏的技能和产品创意。

环绕根基模型相关的立异依然会连绵不断，可是其速度和质量将会遭到许多约束，直到软件栈满足完善可以让仅在某一方面有杰出优势的团队也能作出巨大奉献。 这些作业都需求由大科技公司及其创始人、学者、开发者、开源社区和出资者共同完成。一起，一切这些立异都需求考虑有没有伦理道德负面影响，有没有潜在的意外后果，并将必要的防护办法做到位，这至少与推进技能本身具有同等重要性。

要让未来AI驱动的高质量运用连绵不断的呈现，这需求咱们一切人共同努力。咱们等待看到企业家们提出什么新的想法来协助开释根基模型的真实力量，并完成人人希望的广泛立异和影响力。

参考资料

1.github.com/features/co…

2.www.codium.ai/

3.www.lexion.ai/products/ai…

4.runwayml.com/customers/h…

5.twitter.com/russelljkap…

6.www.medrxiv.org/content/10.…

7.arxiv.org/pdf/1706.03…

8.arxiv.org/pdf/2206.07…

9.ai.googleblog.com/2023/01/goo…

10.www.nytimes.com/2023/01/20/…

11.research.runwayml.com/the-researc…

12.huggingface.co/

13.bit.ly/3kOkheT

14.arxiv.org/abs/2212.14…

15.langchain.readthedocs.io/en/latest/

16.dust.tt/

17.fixie.ai/

18.github.com/jerryjliu/g…

19.github.com/cognosisai/…

20.arxiv.org/pdf/2211.05…

21.honeyhive.ai/

22.Humanloop – The platform for GPT-3 applications

23.arxiv.org/pdf/2203.15…

24.arxiv.org/pdf/2206.14…

25.laion.ai/

26.arxiv.org/pdf/2101.00…

27.commoncrawl.org/

28.snorkel.ai/

29.github.com/visual-laye…

30.xethub.com/

31.www.cerebras.net/

32.www.mosaicml.com/

33.tvm.apache.org/

34.lilianweng.github.io/posts/2023-…

35.octoml.ai/

36.modal.com/

37.banana.dev/

38.www.beam.cloud/

39.saturncloud.io/

本文经原作者授权，由Baihai IDP编译。如需转载译文，请联络获取授权。

原文链接：www.madrona.com/foundation-…

关于原作者: 作者Jon Turow, Palak Goel & Tim Porter来自Madrona Venture Capital，在根基模型基础设施进行了屡次出资，并致力于协助加快根基模型未来的到来。从事或许对根基模型范畴的运用程序、根基模型构建及其东西感兴趣的小伙伴，可与原作者(jonturow@madrona.com和palak@madrona.com)联络。