本文正在参加「技能视角深入 ChatGPT」征文活动

硬件

“没有硬件支撑，你破解个屁”

从 GPU 到 ChatGPT

GPU

从 GPU 到 ChatGPT

什么是 GPU？

GPU 是 Graphics Processing Unit 的缩写，中文翻译为图形处理器。GPU 开端是为了进步电脑处理图形的速度而规划的，首要担任图画的核算和处理。GPU 经过并行核算的办法，能够一起履行多个使命，大大进步了图形和数据处理的速度和功率。

近年来，由于其并行核算的特性，GPU 也被运用于一些需要许多核算的范畴，如机器学习、深度学习、数据发掘、科学核算等。在这些范畴中，GPU 能够加快练习模型、处理海量数据等核算密集型使命，显著进步了核算功率和速度。因而，GPU 已成为现代核算机的重要组成部分，被广泛运用于各种范畴。

GPU 是怎么作业的？

GPU 的作业原理和 CPU 相似，都是经过履行指令来完结核算使命的。不同的是，CPU 是经过串行履行指令的办法来完结核算使命的，而 GPU 是经过并行履行指令的办法来完结核算使命的。GPU 的并行核算办法能够一起履行多个使命，大大进步了核算功率和速度。

能够参考这个视频来了解 GPU 的作业原理：www.bilibili.com/video/BV1VW…

GPU 和 CPU 的差异

GPU 和 CPU 的差异首要体现在以下几个方面：

  1. 架构规划不同：CPU 的规划重视单线程处理能力，一般有少数的核算中心和更多的高速缓存。GPU 则是面向并行处理的规划，一般具有许多的核算中心，但缓存较小。

  2. 核算办法不同：CPU 在处理使命时，首要经过履行指令流的办法进行核算。而 GPU 则是经过履行许多的线程，一起进行并行核算，以进步核算功率。GPU 的并行核算能力能够一起处理许多相似的使命，适用于大规模的核算密集型使命，例如图画处理、机器学习等。

  3. 用途不同：CPU 首要用于通用核算使命，例如文件处理、操作体系运转、编程等。GPU 则首要用于图形处理、游戏、核算密集型使命，例如机器学习、深度学习等。

总结来说，GPU 和 CPU 都有各自的优势和适用场景，它们一般是相互协作的。例如，在机器学习中，CPU 一般用于数据的预处理和模型的练习进程，而 GPU 则用于模型的核算推理进程。

咱们常说的显卡便是 GPU 吗？

是的，咱们一般所说的显卡（Graphics Card）便是安装了 GPU 的设备。显卡除了包含 GPU 之外，还包含显存、散热器、显卡 BIOS 等部件。显卡经过将 CPU 传输的数据转化为图画信号，控制显示器输出图画。

在一些需要许多图画处理或核算的运用场景中，GPU 能够比 CPU 更高效地完结使命。因而，现代的显卡也广泛运用于机器学习、深度学习等范畴的加快核算，甚至被用于科学核算、天文学、地质学、气象学等范畴。

关于显卡，你或许听说过“集成显卡”、“独立显卡”，其实，显卡的集成和独立一般是指显存的不同管理办法，它们有以下差异：

  1. 集成显卡：集成显卡一般是指将显存集成在主板芯片组或处理器内部的显卡。这种显卡一般功能较差，适用于一些简略的运用场景，例如日常工作、网页阅读等。

  2. 独立显卡：独立显卡一般是指显存独立于主板芯片组或处理器，有自己的显存和显存控制器。这种显卡功能愈加强大，适用于游戏、图形处理、科学核算等需要许多显存和核算功能的运用场景。

  3. 同享显存：同享显存一般是指显存与体系内存同享运用，也便是一部分体系内存被划分为显存运用。这种办法适用于一些轻度图形处理的运用场景，例如电影播映、网页阅读等。

总的来说，集成显卡一般功能较差，适用于简略运用场景，独立显卡功能愈加强大，适用于需要许多显存和核算功能的运用场景，而同享显存则是一种折中的方案，适用于一些轻度图形处理的运用场景。

GPU 厂商

海外头部 GPU 厂商：

  1. Nvidia：Nvidia 是现在全球最大的 GPU 制作商之一，Nvidia 首要生产针对游戏玩家、数据中心和专业用户等不同范畴的 GPU 产品。
  2. AMD：全球知名的 GPU 制作商之一。AMD 首要生产用于个人电脑、作业站和服务器等不同范畴的 GPU 产品。
  3. Intel：现在也开端进军 GPU 商场。Intel 首要生产用于个人电脑、作业站和服务器等不同范畴的 GPU 产品。

国内 GPU 厂商：

海光信息、寒武纪、龙芯中科、景嘉微等。

芯片“卡脖子” 说的便是 GPU 吗？

是，但不全是。

“芯片卡脖子”是指全球半导体缺少现象，也称为”芯片荒”或”半导体荒”，指的是 2020 年以来由新冠疫情和其他因素导致的全球半导体供给缺乏的局面。这种供给缺少现已影响了多个职业，包含轿车、电子产品、通信设备等。我国作为世界上最大的半导体商场之一，也受到了这种供给缺少的影响。

我国在半导体范畴的自主研发和制作水平相对较低，依赖进口芯片来支撑其经济和工业开展。受全球芯片缺少影响，我国的一些要害职业，特别是轿车、电子和通信职业，出现了供给缺少和价格上涨等问题，对其经济造成了必定的影响。为了应对这种状况，政府加强了对半导体职业的支撑，鼓励本乡企业增加芯片研发和生产能力，以减轻对进口芯片的依赖。

详细与 GPU 相关的：2022 年 8 月 31 日，为契合美国政府要求，Nvidia 和 AMD 的高端 GPU 将在我国暂停销售，包含 Nvidia 的 A100、H100 以及 AMD 的 MI100 和 MI200 芯片

英伟达在 SEC 文件上官方承认此事，称是 8 月 26 日收到美国政府的告诉。

SEC 文件是由上市公司、上市公司内部人士、券商提交给美国证券交易委员会（SEC) 的财务报表或许其他正式文件。

从 GPU 到 ChatGPT

nvidia （英伟达）

从 GPU 到 ChatGPT

依据 2021 年第四季度的商场研讨报告，英伟达在全球离散显卡商场占有率为 51.2％，位列榜首，超过了其竞争对手 AMD 的商场份额。而在全球 GPU 商场（包含离散显卡和集成显卡）中，英伟达的商场占有率为 18.8％，位列第二，仅次于 Intel 的商场份额。

nvidia 的产品矩阵

  1. GeForce 系列：首要面向顾客商场，包含桌面显卡和笔记本电脑显卡等，以高功能游戏和多媒体运用为首要运用场景。
  2. Quadro 系列：首要面向专业作业站商场，包含电影和电视制作、建筑规划、科学核算、医疗影像等范畴，具有高功能、高稳定性和优异的图形烘托能力。
  3. Tesla 系列：首要面向高功能核算商场，包含科学核算、深度学习、人工智能等范畴，具有极高的核算功能和数据吞吐量，支撑多 GPU 集群核算。
  4. Tegra 系列：首要面向移动和嵌入式商场，包含智能手机、平板电脑、轿车、无人机等范畴，具有高功能、低功耗、小尺寸等特色。
  5. Jetson 系列：首要面向人工智能运用商场，包含机器人、主动驾驶、智能视频剖析等范畴，具有高功能、低功耗、小尺寸等特色。

从 GPU 到 ChatGPT

或许你对上面这些产品系列、型号和名词不太了解，没有什么概念，那这样，咱们先树立个价格概念。咱们以当下在人工智能范畴广泛运用的 GPU A100 为例，看一下它的价格：

从 GPU 到 ChatGPT

便是由于这个价格，所以 A100 也被称为“英伟达大金砖”.

为什么要独自说英伟达呢？由于算力是 人工智能的“力气源泉”，GPU 是算力的“首要供给商”。而英伟达是全球最大的 GPU 制作商，并且它的 GPU 算力是最强的，比方 A100 GPU 算力是 10.5 petaFLOPS，而 AMD 的 MI100 GPU 算力是 7.5 petaFLOPS。

不明白什么意思？Peta 是计量单位之一，它代表的是 10 的 15 次方。因而，1 petaFLOPS（PFLOPS）表明每秒能够完结 10 的 15 次浮点运算。所以，A100 GPU 算力为 10.5 petaFLOPS，意味着它能够每秒完结 10.5 万亿次浮点运算。

AI

什么是人工智能 (Artificial Intelligence-AI)？

人工智能是指一种核算机技能，它使得核算机体系能够经过学习、推理、自适应和自我修正等办法，模仿人类的智能行为，以完成相似于人类的智能水平的一系列使命。这些使命包含语音辨认、自然言语处理、图画辨认、机器翻译、主动驾驶、智能推荐和游戏等。 人工智能的中心是机器学习，它是经过运用许多数据和算法练习核算机体系，使其能够辨认形式、做出猜测和决策。人工智能还涉及到其他范畴，如自然言语处理、核算机视觉、机器人技能、常识表明和推理等。 人工智能被广泛运用于各种范畴，如医疗、金融、交通、制作业、媒体和游戏等，为这些范畴带来了更高的功率和立异。

人工智能细分范畴

从 GPU 到 ChatGPT

人工智能范畴有许多分支范畴，以下罗列一些比较常见的：

  1. 机器学习（Machine Learning）：研讨怎么经过算法和模型让核算机从数据中学习和提取规律，以完结特定使命。
  2. 深度学习（Deep Learning）：是机器学习的一种，运用多层神经网络来学习特征和形式，以完成对复杂使命的主动化处理。
  3. 自然言语处理（Natural Language Processing, NLP）：研讨怎么让核算机了解、剖析、处理人类言语的办法和技能。
  4. 核算机视觉（Computer Vision）：研讨怎么让核算机“看懂”图画和视频，并从中提取有用的信息和特征。
  5. 机器人学（Robotics）：研讨怎么规划、构建和控制机器人，让它们能够完结特定使命。
  6. 强化学习（Reinforcement Learning）：是一种机器学习的办法，经过与环境的交互和反应来学习最优举动战略。
  7. 常识图谱（Knowledge Graph）：是一种将常识以图谱的形式进行组织、表明和推理的办法，用于完成智能搜索、推荐等运用。
  8. 语音辨认（Speech Recognition）：研讨怎么让核算机辨认和了解人类语音，以完成语音输入、语音控制等功能。

当然以上这些分支范畴相互也有穿插和相互影响，比方深度学习在核算机视觉、自然言语处理和语音辨认等范畴都有运用；核算机视觉和自然言语处理也常常结合在一起，比方在图画字幕生成和图画问答等使命中。此外，人工智能还与其他范畴如控制工程、优化学、认知科学等存在穿插。

NLP

咱们详细地来看一下自然言语处理（NLP）这个分支范畴，它是人工智能的一个重要分支，也是人工智能技能在实践运用中最为广泛的运用之一。

NLP（Natural Language Processing，自然言语处理）旨在让核算机能够了解、解析、生成和操作人类言语。

NLP 技能能够用于文本分类、情感剖析、机器翻译、问答体系、语音辨认、主动摘要、信息抽取等多个方面。完成 NLP 技能一般需要运用一些基础的机器学习算法，例如文本预处理、词嵌入（word embedding）、分词、词性标注、命名实体辨认等等。这些算法能够从许多的语料库中学习到言语的结构和规律，并经过统计剖析和机器学习模型进行自然言语的处理和运用。

近年来，跟着深度学习技能的开展，NLP 范畴也出现了一些根据深度学习的新模型，例如 Transformer 模型和 BERT 模型等。这些模型经过运用大规模语料库进行预练习，能够在多个 NLP 使命中获得优异的体现。一起，也出现了一些新的运用范畴，例如对话体系、智能客服、智能写作、智能问答等。

Transformer 是什么？

上文咱们说到人工智能的分支范畴之间会有穿插，Transformer 算是深度学习和 NLP 的穿插范畴。

从 GPU 到 ChatGPT

Transformer 模型是深度学习中的一种神经网络模型，该模型是由 Google 开源的。

Transformer 模型开端是在 2017 年发表的论文”Attention Is All You Need”中提出的，随后被参加到 TensorFlow 等深度学习结构中，方便了广阔开发者运用和扩展。现在，Transformer 模型现已成为自然言语处理范畴中最流行的模型之一。

TensorFlow 是一种用于完成神经网络模型的开源深度学习结构。因而，能够运用 TensorFlow 完成 Transformer 模型。实践上，TensorFlow 团队现已供给了一个名为“Tensor2Tensor”的库，其间包含了 Transformer 模型的完成。此外，许多研讨人员和工程师也运用 TensorFlow 完成自己的 Transformer 模型，并将其用于各种 NLP 使命中。

从 GPU 到 ChatGPT

Transformer 特别擅长处理序列数据，其间包含了 NLP 范畴的自然言语文本数据。在 NLP 范畴中，Transformer 模型被广泛运用于各种使命，例如机器翻译、文本摘要、文本分类、问答体系、言语模型等等。比较于传统的根据循环神经网络（RNN）的模型，Transformer 模型经过运用注意力机制（self-attention）和多头注意力机制（multi-head attention）来建模序列中的长程依赖性和关系，有效地缓解了 RNN 模型中梯度消失和梯度爆破的问题，从而在 NLP 使命上获得了很好的体现。因而，能够说 Transformer 是 NLP 范畴中的一种重要的深度学习模型，也是现代 NLP 技能的重要组成部分。

Transformer 模型的完成

Transformer 模型只是一个笼统的概念和算法结构，详细的完成还需要考虑许多细节和技巧。在实践运用中，需要依据详细的使命和数据集进行模型的规划、参数调整和练习等进程。此外，还需要运用特定的软件结构（如 TensorFlow、PyTorch 等）进行完成和优化，以进步模型的功率和精确性。

完成 Transformer 模型能够运用深度学习结构，如 TensorFlow、PyTorch 等。一般来说，完成 Transformer 模型的过程如下：

  1. 数据预备：预备练习和测试数据，包含语料数据和标签数据等。 模型架构规划：确认模型的结构，包含 Transformer 的编码器和解码器部分，以及注意力机制等。
  2. 模型练习：运用练习数据对模型进行练习，并对模型进行调优，以达到较好的猜测效果。
  3. 模型评价：运用测试数据对模型进行评价，包含丢失函数的核算、精度、召回率、F1 值等。
  4. 模型部署：将练习好的模型部署到生产环境中，进行实践的运用。

业界流行的完成办法是运用深度学习结构，如 TensorFlow 或 PyTorch，在现有的 Transformer 模型代码基础上进行二次开发，以满意自己的需求。一起，也有一些第三方的 Transformer 库，如 Hugging Face 的 Transformers 库，可供直接运用，方便快捷。

还有没有其他模型 ？

相似于 Transformer 的模型有许多，其间一些首要的模型包含：

  1. BERT（Bidirectional Encoder Representations from Transformers）：BERT 是由 Google 在 2018 年推出的预练习言语模型，采用了 Transformer 模型的编码器部分，并运用双向的 Transformer 模型来对输入的文本进行建模。
  2. GPT（Generative Pre-trained Transformer）：GPT 是由 OpenAI 在 2018 年推出的预练习言语模型，采用了 Transformer 模型的解码器部分，首要用于生成文本。
  3. XLNet：XLNet 是由 CMU、Google 和 Carnegie Mellon University 的研讨人员在 2019 年提出的一种预练习言语模型，它运用了自回归 Transformer 模型和自回归 Transformer 模型的结合，具有更好的生成功能和言语了解能力。
  4. T5（Text-to-Text Transfer Transformer）：T5 是由 Google 在 2019 年推出的一种根据 Transformer 的通用文本转化模型，能够处理各种 NLP 使命，如文本分类、问答、文本摘要等。
  5. RoBERTa（Robustly Optimized BERT Pretraining Approach）：RoBERTa 是 Facebook 在 2019 年推出的预练习言语模型，它经过对 BERT 练习进程进行优化，进步了在多种 NLP 使命上的功能体现。

这些模型都根据 Transformer 架构，并经过不同的优化和改善来进步功能和运用范围。下面一张图是模型的宗族树：

从 GPU 到 ChatGPT

GPT 模型

2018 年 OpenAI 公司根据 Transformer 结构推出 GPT-1 （Generative Pre-training Transformers, 创造型预练习改换模型），参数量为 1.17 亿个，GPT-1 逾越 Transformer 成为业界榜首。2019 年至 2020 年，OpenAI 陆续发布 GPT-2、GPT-3，其参数量别离达 到 15 亿、1750 亿，其间，GPT-3 练习进程中直接以人类自然言语作为指令，显著提升了 LLM 在多种言语场景中的功能。

ChatGPT

从 GPU 到 ChatGPT

ChatGPT 是美国 OpenAI 公司研发的对话 AI 模型，是由人工智能技能支撑的自然言语处理（NLP，Natural Language Processing）工具，于 2022 年 11 月 30 日正式发布。它能够学习、了解人类言语，并结合对话上下文，与人类谈天互动，也可撰写稿件、翻译文字、编程、编写视频脚本等。到 2023 年 1 月底，ChatGPT 月活用户已高达 1 亿，成为史上活跃用户规模增加最快的运用

与现存的其他同类产品比较，ChatGPT 的共同优势在于：

  1. 根据 GPT-3.5 架构，运用海量语料库练习模型，包含实在生活中的对话，使 ChatGPT 能做到挨近与人类谈天
  2. 运用新技能 RLHF （Reinforcement Learning with Human Feedback，根据人类反应的强化学习），从而能更精确地了解并遵从人类的思想、价值观与需求
  3. 可在同一阶段内完结模型练习
  4. 具有强大算力、自我学习能力和适应性，且预练习通用性较高
  5. 可进行接连多轮对话，提升用户体会
  6. 更具独立批判性思想，能质疑用户问题的合理性，也能承认本身常识的局限性，听取用户意见并改善答案。

GPT-3.5

ChatGPT 运用的 GPT-3.5 模型是在 GPT-3 的基础上参加 Reinforcement Learning from Human Feedback（RLHF，人类反应强化学习）技能和近段战略优化算法，其意图是从实在性、无害性和有用性三个方面优化输出成果，下降预练习模型生成种族歧视、性别歧视等有害内容的危险。

ChatGPT 练习的进程首要有三个阶段。

从 GPU 到 ChatGPT

  1. 榜首步是练习监督战略，人类标注员对随机抽取的提示供给预期成果，用监督学习的形式微调 GPT-3.5，生成 Supervised Fine-Tuning（SFT）模型，使 GPT-3.5 初步了解指令，这一步与从前的 GPT-3 模型练习办法相同，相似于教师为学生供给标答的进程。
  2. 第二步是奖赏模型，在 SFT 模型中随机抽取提示并生成数个成果，由人类标注员对成果的匹配程度进行排序，再将问题与成果配对成数据对输入奖赏模型进行打分练习，这个过程相似于学生模仿标答写出自己的答案，教师再对每个答案进行评分。
  3. 第三步是 Proximal Policy Optimization（PPO，近段战略优化），也是 ChatGPT 最突出的升级。模型经过第二步的打分机制，对 SFT 模型内数据进行练习，主动优化迭代，进步 ChatGPT 输出成果的质量，便是学生依据教师反应的评分，对自己的作答进行修正，使答案更挨近高分标准。

ChatGPT 的优势在于：

  1. 运用 1750 万亿参数的 GPT-3 为底层模型进行预练习，为全球最大的言语模型之一
  2. 算力上得到微软支撑，运用上万片 NVIDIA A100 GPU 进行练习，模型的运转速度得到保证（从这儿就看出硬件的重要性了，A100 “卡脖子”的确很难过，不过之前各厂都囤货了，短期应该能满意现状，并且作为 A00 的平替 A800 即将出货，练习功率快速提升，应该也能满意需求。)
  3. 算法上运用奖赏模型和近端优化战略进行迭代优化， 将输出成果与人类预期答案对齐，减少有害性、歧视性答案，使 ChatGPT 更拟人化，让用户感觉沟通的进程更流通。

GPT-4

从 GPU 到 ChatGPT

据德国媒体 Heise 消息，当地时刻 3 月 9 日一场人工智能相关活动上，四名微软德国职工在现场介绍了包含 GPT 系列在内的大言语模型（LLM），在活动中，微软德国首席技能官 Andreas Braun 表明 GPT-4 即将发布。

GPT-4 现已开展到基本上「适用于一切言语」：你能够用德语提问，然后用意大利语得到答案。凭借多模态，微柔和 OpenAI 将使「模型变得全面」。将供给完全不同的或许性，比方视频。

AIGC 模型

在人工智能内容生成范畴，除了 OpenAI, 还有其他玩家，来看一下现在头部玩家的状况：

从 GPU 到 ChatGPT

人工智能突破摩尔定律

摩尔定律是由英特尔公司创始人之一戈登摩尔于 1965 年提出的一项猜测。这项猜测以为，在集成电路上可包容的晶体管数量每隔 18 至 24 个月会翻一番，而本钱不变或许本钱减少。

简略来说，摩尔定律猜测了跟着时刻的推移，核算机芯片上能集成的晶体管数量将以指数等级增加，而本钱将继续下降。这意味着核算机功能将在同样的芯片面积上不断进步，一起核算机的本钱也会不断下降。

摩尔定律在过去几十年的核算机工业中发挥了重要的效果，它是核算机开展的重要标志之一，但近年来跟着摩尔定律趋于极限，一些人开端置疑其可继续性。

摩尔定律的界说归纳起来，首要有以下三种版本：

  1. 集成电路上可包容的晶体管数目，约每隔 18 个月便增加一倍。
  2. 微处理器的功能每隔 18 个月进步一倍，或价格下降一半。
  3. 相同价格所买的电脑，功能每隔 18 个月增加一倍。

跟着模型的迭代，对算力的需求也越来越大了：

从 GPU 到 ChatGPT

现在看人工智能对算力的需求现已突破了摩尔定律

未来

现在我已在编程、邮件书写、常识学习等多个场景开端运用 chatGPT,未来有方案开发 chatGPT的运用程序，让更多人能够体会到 chatGPT 的魅力。

未来已来，缺少的不是技能，而是想象力！

参考

  • blogs.nvidia.com/blog/2009/1…
  • www.zhihu.com/question/19…
  • www.sec.gov/Archives/ed…
  • blogs.nvidia.com/blog/2022/0…
  • proceedings.neurips.cc/paper/2017/…