搬家学习和大言语模型
大型言语模型（LLMs）如ChatGPT现已引起了大众的注重，许多公司正在寻找机会将相似的功用整合到其产品中，但或许会加入更多的领域专业知识和重角度。
这能够通过搬家学习完成，即通过运用领域特定数据来对现有的最先进模型（如GPT-3）进行优化，以使其适用于您的特定用例。例如，您的用例或许具有期望的输出风格和格局（例如医疗记录）。通过搬家学习，您能够运用专有数据集来优化LLM的才干，以生成符合要求的内容。
搬家学习并不是什么新鲜事物，但最近大型言语模型（LLMs）的广泛盛行引发了关于怎样练习和安置LLMs的谈论，因而出现了LLMOps。
什么是LLMOps？
附注：一个更好的术语能够包含其他类型的基础模型和生成模型。LMOps？FOMO？或者或许咱们应该坚持运用MLOps，但针对不同的用例。
LLMOps注重的是微调现有基础模型和将这些优化模型安置为产品的操作才干和基础架构。关于大多数注重MLOps运动的观察者来说，LLMOps并不是什么新鲜事物（除了作为一个术语），而是MLOps的一个子类别。可是，更狭义的界说或许有助于深入探讨微谐和安置这些类型的模型所需的更具体要求。
基础模型巨大（GPT-3有1750亿个参数），因而需求很多的数据来进行练习，以及匹配的核算时间。依据Lambda Labs的说法，要在单个NVIDIA Tesla V100 GPU上练习GPT-3需求355年的时间。尽管微调这些模型不需求相同数量的数据或核算量，但它绝不是一个轻量级的任务。能够并行运用GPU核算机并处理大规模数据集的基础架构至关重要。
关于运转ChatGPT的本钱，Twitter上有很多的估算（十分昂扬）。尽管OpenAI尚未揭露发布任何声明，但这些谈论突显了这些巨大模型的揣度部分需求与更常见的传统ML模型不同等级的核算。此外，揣度或许不仅仅是单个模型，还或许是一系列模型和其他保证办法，以为最终用户产生尽或许好的输出。
LLMOps领域概览
如上所提到的，关于了解MLOps的人来说，LLMOps并不是什么新鲜事物，因而其领域与MLOps相似。可是，许多为特定用例规划的MLOps东西或许不适用于微谐和安置LLMs。例如，像Databricks这样的Spark环境适用于传统的ML，但关于微调LLMs，或许不太适用。
总的来说，今天的LLMOps领域包含以下方面：
-
大型言语模型（LLMs）
- LLM作为服务（LLM-as-a-Service）是指供货商将LLM作为API供应在其基础设备上。这是首要用于供应闭源模型的方式。
-
自界说LLM堆栈（Custom LLM stack）
- 这是一个更广泛的东西类别，用于微谐和安置构建在开源模型之上的专有解决方案。
-
提示工程东西（Prompt Engineering tools）
- 答应在上下文中进行学习，而无需运用敏感数据，然后降低本钱，而不是在更低的本钱下进行微调。
-
矢量数据库（Vector Databases）
- 为某些提示检索上下文相关的信息。
-
提示执行（Prompt Execution）
- 答应优化和改善模型输出，基于办理提示模板以构建一系列相关提示。
-
提示日志记录、检验和剖析（Prompt Logging, Testing, and Analytics）
- 这能够说是一个新式的领域，目前还没有明确界说的分类。a16z现已供应了进一步阅览的内容，假如您有爱好的话。
