人类长于剖析事物。可是现在看来，机器很有或许做得更好。机器能够不知疲倦夜以继日地剖析数据，不断从中找到许多人类场景用例的形式：信用卡诈骗预警、垃圾邮件检测，股票价格猜测、以及个性化地引荐产品和视频等等。他们在这些使命上变得越来越聪明了。这被称为 “剖析人工智能（Analytical AI） ” 或”传统人工智能（Traditional AI） ”。
可是人类不只擅长剖析事物，还长于发明。咱们写诗、规划产品、制作游戏和编写代码。直到公元 2022 年之前，机器还没有机会在发明性作业中与人类竞赛，它们只能从事剖析和死记硬背的认知劳动。可是现在（是的，便是现在）机器现已开端在发明理性而美好事物的范畴尝试超越人类，这个新类别被称为 “生成式人工智能（Generative AI） ”。这意味着机器现已开端在发明生成全新的事物，而不是剖析现已存在的旧事物。
生成式人工智能不只会变得更快、更廉价，而且在某些状况下比人类手艺发明的更好。每个需求人类创作原创作品的职业—从社交媒体到游戏、从广告到建筑、从编码到平面规划、从产品规划到法令、从营销到出售都有待全新重塑。某些功用或许会被生成式人工智能彻底取代，或者激起出超越人类想象力的全新灵感。
| 亚马逊云科技开发者社区为开发者们供给全球的开发技能资源。这里有技能文档、开发事例、技能专栏、培训视频、活动与竞赛等。帮助我国开发者对接国际最前沿技能，观点，和项目，并将我国优异开发者或技能引荐给全球云社区。假如你还没有重视/保藏，看到这里请一定不要仓促划过，点这里让它成为你的技能宝库！ |
|---|
新国际正在到来。
Transformer 新国际
做为一名从前屡次穿越过市场周期的从业者，我亲历过通信职业、IT 职业、移动互联网职业等不同年代的周期，亲自体验过其间的潮起云涌，亲眼目睹过其间的天高云淡，以及最终惨烈竞赛后的回归平平。因而，面临现已敞开的 AI 年代周期，与其盲目地跳进去跟随，不如先搞清楚这个新周期的一些底层逻辑，比如说：常识底座。
假如说 TCP/IP、HTML 等常识结构是上一个年代的常识底座，那么面临现已开端的 AI 年代，咱们每个人是否应该先问自己一个问题：“什么是 AI 年代的常识底座？”
从到目前为止 AI 的常识开展看来，或许这个常识底座会是：Transformer。
1 Transformer 概述
欢迎进入 Transformer 的新国际。
在曩昔的五年中，人工智能国际产生了许多令人欣喜的严重改变。其间许多改变是由一篇名为 “Attention is All You Need” 的论文推进的。这篇宣布于2017年的论文介绍了一种名为 “Transformer” 的新架构。下图为“Attention is All You Need” 的论文中描绘的 Transformer 模型的架构图示。
Source:arxiv.org/pdf/1706.03…
归纳来说，Transformer 模型为机器学习范畴做出了两项贡献。首先，它提高了在人工智能中运用并行核算的功率。其次，它引入了 “注意力（Attention）” 的概念，这使人工智能能够了解单词之间的关系。你所听到的技能，例如 GPT-3、BERT、Sable Diffusion 等，都是 Transformer 架构在不同范畴演进的成果。
2 注意力机制（Attention）
什么是注意力机制？根据该论文中的描绘，注意力函数能够描绘为将查询和一组键值对映射到输出，其间查询、键、值和输出都是向量。输出是按值的加权总和核算的，其间分配给每个值的权重由查询的兼容性函数与相应键值核算得出。Transformer 运用多头注意力（multi-headed attention），这是对称为缩放点积注意力（scaled dot-product attention）的特定注意力函数的并行核算。如下图所示。
Source:arxiv.org/pdf/1706.03…
上面这段对“注意力机制”的描绘还是偏学术化。维基百科上的定义会更通俗易懂些：“注意力机制（英语：attention）是人工神经网络中一种仿照认知注意力的技能。这种机制能够增强神经网络输入数据中某些部分的权重，一起削弱其他部分的权重，以此将网络的重视点聚集于数据中最重要的一小部分。数据中哪些部分比其他部分更重要取决于上下文。能够通过梯度下降法对注意力机制进行练习 ……”
可见，注意力机制的灵活性来自于它的“软权重”特性，即这种权重是能够在运转时改动的，而非像一般的权重相同有必要在运转时坚持固定。
3 Transformer in Chip
许多人工智能范畴的思想领袖和专家，认为 Transformer 架构在未来五年左右并不会有太大改变。这便是为什么你会看到一些芯片制造商在其新芯片（例如 NVIDIA H100）中集成 Transformer Engine 的原因。
在 2022 年拉斯维加斯的 re:Invent 2022 中，来自 NVIDIA 的架构师共享了如安在亚马逊云科技上，运用 NVIDIA 新一代芯片做深度学习练习的专题，里面特别提到了 H100 芯片中 Transformer Engine 的规划结构和初衷。对技能架构细节感兴趣的同学，能够通过以下视频深入了解：www.youtube.com/watch?v=l8A…
4 Transformer 演进时刻线
一个有趣的视角是将各种 Transformer 依照呈现的时刻顺序排列的图示。
Source: “Transformer models: an introduction and catalog”arxiv.org/abs/2302.07…
我听到过的一个比较有趣的视角是：假如您之前对 Transformer 知道得不多，不要惊惧。因为您看到引领这一波生成式人工智能（Generative AI）变革的重要几篇论文的状况：
- CLIP 论文在 2021 年宣布；
- Stable Diffusion 和 DALL-E-2 在 2022 年才呈现；
- GPT3.5、ChatGPT、Bloom 等在 2022 年末才呈现……
这个新国际的演进才刚刚开端，你还有足够的时刻重新开端学习 Transformer！
Generative AI
1 为什么现在产生?
Generative AI 与更广泛的人工智能具有相同的值得人类深入思考问题：“为什么现在产生？” 归纳来说，这个答案是咱们当下具有：
- 更好的模型；
- 更多的数据；
- 更多的核算；
Generative AI 的进化速度比咱们所能想象的要快得多，为了将当时时刻置于大年代洪流的背景之下，十分值得咱们大致地了解下 AI 的开展历史和从前走过的路。
第一波浪潮：小型模型占据了至高无上的位置（2015 年之前）
小型模型在了解言语方面被认为是 “最先进的”。这些小型模型擅长剖析使命，可用于从交货时刻猜测到诈骗分类等作业。可是，对于一般用处的生成使命，它们的表现力还不够。生成人类级写作或代码仍然是白日梦。
第二波浪潮：规模竞赛（2015 年至今）
2017 年宣布的里程碑意义的论文（“Attention is All You Need”）描绘了一种用于自然言语了解的新神经网络架构，这种架构名为 Transformer，它能够生成高质量的言语模型，一起更具可并行性，并且需求更少的练习时刻。这些模型是 few-shot learners 的，因而能够相对容易地针对特定范畴进行定制。
Source:www.science.org/content/art…
跟着模型越来越大，它们开端供给人类层面的成果，然后是超人的成果。在 2015 – 2020 年间，用于练习这些模型的核算增加了 6 个数量级，其成果超过了人类在手写、语音和图画识别、阅览了解和言语了解方面的性能基准。GPT-3 模型在这时脱颖而出，该模型的性能比 GPT-2 有了巨大的飞跃，内容触及从代码生成到写作等多项使命。
虽然根底研究取得了种种进展，但这些模型并不被人广泛运用。原因是它们巨大且难以运转（需求 GPU 编排等），能够运用这些模型的门槛太高（不可用或仅限关闭 BETA），而且用作云服务的本钱也很高。虽然存在这些局限性，但最早的 Generative AI 运用程序开端进入竞赛阶段。
第三波浪潮：更好、更快、更廉价（2022 年以后）
因为像亚马逊云科技这样的云技能公司，一直在推进云核算的普及，核算变得愈加廉价。而像 diffusion model 等新技能降低了练习和运转推理所需的本钱，研究界因而能够继续开发更好的算法和更大的模型。开发者拜访权限从关闭 BETA 扩展到敞开 BETA，或者在某些状况下扩展到开源（open-source）。对于一直缺少 LLM 拜访权限的开发人员来说，现在闸口已敞开，可供探索和运用程序开发。运用程序开端蓬勃开展。
第四波浪潮：杀手级运用程序的呈现（现在）
跟着根底渠道层的逐渐巩固，模型不断变得更好/更快/更廉价，模型拜访趋向于免费和开源，运用层的发明力爆破的机遇现已老练。
正如十年前的移动互联网迸发的前夜，因为移动通过 GPS、摄像头和移动连接等新场景、新功用释放了新类型的运用程序相同，咱们预计这些大型模型将激起新一轮的 Generative AI 运用。咱们预计 Generative AI 也将呈现杀手级运用程序。
Source:www.sequoiacap.com/article/gen…
2 Generative AI: 运用层蓝图设想
以下是 Generative AI 的运用格局图，描绘了为每个类别供给支持的渠道层以及将在上面构建的潜在运用程序类型。
Source:www.sequoiacap.com/article/gen…
文本是进展最快的范畴。
代码生成或许会在短期内对开发人员的生产力产生严重影响，如 Amazon CodeWhisperer 所示。
图画是一种较新的现象。咱们看到了不同风格的图画模型的呈现，以及用于修正和修正生成的图画的不同技能。
语音组成现已存在了一段时刻（例如，你好 Siri！）。就像图画相同，今天的模型也为进一步完善供给了起点。
视频和三维模型正在敏捷上线。人们对这些形式敞开电影、游戏、虚拟现实和实体产品规划等大型构思市场的潜力感到振奋。
其他范畴：从音频和音乐到生物学和化学，许多范畴都在进行根底模型研制。
下图说明了咱们如何期望根本模型取得进展以及相关运用成为或许的时刻表。
Source:www.sequoiacap.com/article/gen…
3 Generative AI: 文字生成图画（Text-to-Image）方向
回顾曩昔的一年，有两个 AIGC 方向现已产生了让人冷艳的前进。其间一个方向便是：文字生成图画（Text-to-Image）方向。
根据来自亚马逊云科技的官方博客，用户现在能够很方便的在 SageMaker JumpStart 中运用 Stable Diffusion 模型，轻松地生成富有想象力的绘画作品。
The following images are in response to the inputs “a photo of an astronaut riding a horse on mars,” “a painting of new york city in impressionist style,” and “dog in a suit.”
The following images are in response to the inputs: (i) dogs playing poker, (ii) A colorful photo of a castle in the middle of a forest with trees, and (iii) A colorful photo of a castle in the middle of a forest with trees. Negative prompt: Yellow color.
Source:aws.amazon.com/cn/blogs/ma…
关于文字生成图画（Text-to-Image）方向的论文解读、示例代码等咱们还会有其他专题深入评论。
以上便是关于 Transformer 和 Generative AI 的部分介绍。鄙人一篇文章中，咱们将详细评论关于 Generative AI 另一个重要的前进方向便是：文字生成（Text Generation）方向。共享这个范畴的最新进展，以及亚马逊云科技在为支持这些大型言语模型（LLMs）的编译优化、分布式练习等方面的进展和贡献。
请继续重视 Build On Cloud 微信公众号，了解更多面向开发者的技能共享和云开发动态！
往期引荐
#开发者生态
#架构模型最佳实践
#亚马逊的开源文明
作者黄浩文
亚马逊云科技资深开发者布道师，专心于 AI/ML、Data Science 等。具有 20 多年电信、移动互联网以及云核算等职业架构规划、技能及创业办理等丰厚经历，曾就职于 Microsoft、Sun Microsystems、我国电信等企业，专心为游戏、电商、媒体和广告等企业客户供给 AI/ML、数据剖析和企业数字化转型等解决方案咨询服务。
文章来源：dev.amazoncloud.cn/column/arti…
