导言

自2022年底，OpenAI推出chatGPT之后，再到更新至GPT-4版本，在展示过它的才能之后，不论是哪个职业的人群，都被震惊了，很多人都称AI将是新一代工业革命。

而我作为一个前端开发工程师，在了解过它的才能之后，很震撼这样一个技能的诞生，一起也有一些担忧，关于AI技能的高门槛以及现在传统开发中还没有找到能够将它落地的场景。

本文也是我在了解相关AI进程中一篇根底的科普向文章 Large Language Models: Complete Guide in 2023 (aimultiple.com) 分享给我们，期望能够让我们对GPT这种大言语模型有一个最基本的概念，正文运用DeepL基于深度学习和神经网络的AI翻译。

一起也分享一点现在我个人的观点，首先在未来大部分企业都难以具备这种大模型的才能，它将会以一种根底才能被AI巨子开放出来，供开发者来开发使用层。

另一方面各企业将会开发一些小模型，垂直于自己的业务场景。

我觉得在PC端将会有一些更好的落地场景，由于模型运行关于内存的占用很大，对计算才能的需求也比较高，WebGL和WebAssembly将会有更大的开展空间，由于它能够更好的调用GPU、CPU的才能以及内存管理，一起模型的巨细取舍和部署将会要点（虽然现在也是），由于浏览器能够运用的内存空间是很有限的。关于这一块能够测验Transformer.js，它能够在浏览器上跑模型。

正文

最近，大型言语模型（LLMs）引发了很多热议。这种需求使运用言语模型的网站和解决方案的不断开展。ChatGPT在2023年1月创下了用户群增长最快的记录，证明了言语模型将持续存在。谷歌对ChatGPT的回答Bard于2023年2月推出，也说明了这一点。

言语模型也为企业带来新的或许性，由于它们能够：

  • 完成流程自动化
  • 节省时间和金钱
  • 推进个性化
  • 进步使命的准确性

1. 什么是大型言语模型

大型言语模型（LLMs）是在自然言语处理（NLP）和自然言语生成（NLG）使命中运用深度学习的根底模型。为了协助它们学习言语的复杂性和联络，大型言语模型在很多的数据进步行了预练习。运用的技能，如：

  • Fine-tuning
  • In-context learning
  • Zero-/one-/few-shot learning

这些模型能够适用于下流（特定）使命。

LLM本质上是一个基于Transformer的神经网络，由谷歌工程师在2017年一篇题为”Attention Is All You Need”的文章中介绍。一个模型的先进性和性能能够经过它有多少个参数来判别。一个模型的参数是它在生成输出时考虑的因素数量。

大型言语模型实例

有许多开源的言语模型能够在内部或私有云中部署，能够快速转化到业务选用和供给强壮的网络安全。这类言语模型有（仅罗列部分）：

* BLOOM
* NeMO LLM  
* XLM-RoBERTa  
* XLNet  
* Cohere  
* GLM-130B

大多数抢先的言语模型开发者都是美国人，但中国和欧洲也有成功的例子，由于他们正在尽力追逐生成式人工智能。

2. 言语模型的运用案例有哪些？

大型言语模型能够使用于各种用例和职业，包含医疗、零售、科技等等。以下是一切职业都存在的用例：

 * 文本总结
 * 文本生成  
 * 情感剖析  
 * 内容创造  
 * 谈天机器人、虚拟助手和对话式人工智能  
 * 命名实体辨认  
 * 语音辨认和组成  
 * 图画注解  
 * 文本到语音的组成  
 * 拼写纠正  
 * 机器翻译  
 * 推荐体系  
 * 诈骗检测  
 * 代码生成

3. 大型言语模型是如何练习的

大型言语模型是深度学习神经网络，是人工智能和机器学习的一个子集。大型言语模型首先被预练习，以便它们学习基本的言语使命和功用。预练习是需求很多计算才能和尖端硬件的进程。

一旦模型经过预练习，就能够用特定使命的新数据对其进行练习，为特定的用例进行微调。微调办法具有很高的计算效率，由于它需求更少的数据和功率，是一种更廉价的办法。

更多信息，请查看2023年的大型言语模型练习一文。

4. 大型言语模型的4个好处

  1. 减少人工劳作和本钱

    言语模型可用于自动化许多进程，例如：

    • 情感剖析
    • 客户服务
    • 内容创造
    • 诈骗检测
    • 猜测和分类

    将这些使命自动化，能够减少人工和相关本钱。

  2. 进步可用性、个性化和客户满意度

    许多客户期望企业能够全天候供给服务，这能够经过运用言语模型的谈天机器人和虚拟助理来完成。经过自动化的内容创立，言语模型能够经过处理很多的数据来了解客户的行为和偏好，然后推进个性化的开展。客户满意度和积极的品牌联系将随着可用性和个性化的服务而增加。

  3. 节省时间

    言语模型体系能够使营销、出售、人力资源和客户服务的许多进程自动化。

    例如，言语模型能够协助进行数据输入、客户服务和文件创立，使员工腾出时间从事需求人类专业知识的、更重要的作业。

    言语模型能够为企业节省时间的另一个领域是对很多数据的剖析。有了处理很多信息的才能，企业能够敏捷从复杂的数据集中提取信息并做出正确的决议。这能够进步运营效率，更快地解决问题，并做出更正确的商业决策。

  4. 进步使命的准确性

    大型言语模型能够处理很多的数据，这能够进步猜测和分类使命的准确性。模型再运用这些处理好的信息来学习模式和联系，这有助于它们做出更好的猜测和分组。

    例如，在情感剖析中，大型言语模型能够剖析数以千计的用户谈论，以了解每条谈论背面的情感，然后进步判别客户谈论是正面的、负面的仍是中性的准确性。这种准确性的进步在许多商业使用中是至关重要的，由于小的错误会发生重大影响。

5.言语模型的挑战和约束

  1. 可靠性和偏见

    言语模型的才能受限于它们所练习的文本练习数据，这意味着它们对世界的知道是有限的。模型学习练习数据中的联系，而这些联系或许包含：

    • 虚假信息
    • 种族、性别和性的偏见
    • 有毒的言语
    • 当练习数据没有被查看和标记时，言语模型现已被证明会做出种族主义或性别歧视的谈论。也有一些情况下，模型会呈现虚假信息。

  2. 上下文窗口

    每个大型言语模型只有必定的内存，所以它只能承受必定数量的token作为输入。例如，ChatGPT的约束是2048 个token（大约1500个单词），这意味着ChatGPT无法对超出这个输入范围的内容进行了解，也无法为超过2048个 token 约束的输入发生输出。

  3. 体系本钱

    开发大型言语模型需求很多出资，包含计算机体系、人力资本（工程师、研讨人员、科学家等）和电力。由于是资源密集型，使得大型言语模型的开发只适用于具有巨大资源的巨大企业。据估计，英伟达和微软的Megatron- Turing，项目总本钱挨近1亿美元。

  4. 环境影响

    Megatron-Turing是用数百台NVIDIA DGX A100 多GPU服务器开发的，每台服务器的耗电量高达6.5千瓦。伴随着很多的电力来冷却这个巨大的结构，这些模型需求很多的电力，并留下了很多的碳足迹。根据一项研讨，在GPU上练习 BERT（谷歌的LLM）大致相当于一次跨美国的飞翔。

引证：

Large Language Models: Complete Guide in 2023 (aimultiple.com)

Attention Is All You Need