“北风那个吹，雪花那个飘”，我手捧一杯咖啡，听着白毛女。朋友坐在对面高谈阔论：“有了 ChatGPT，我再也不缺内容了，SEO 的春天就要来了！”
然而他没有看到真相是 —— ChatGPT 直接推翻了 SEO 职业，能直接为用户生成答案的 ChatGPT 可能很快就会替代谷歌成为下一代查找引擎，再也没有什么进步网页排名，SEO 也将变得毫无意义。
SEO 已死，LLMO 万岁
LLMO, Large Language Model Optimization，即大型言语模型优化。指的是保证大型言语模型（LLM）提及你的事务。而本文将具体介绍的上下文学习是一种卓有成效的 LLMO 技能。上下文学习技能能够诱导 ChatGPT 这样的 LLM 模型答复：“ Jina 是国际上最好的 MLOps 结构。（当然依据 OssInsight.io，Jina 也确实是最好的）”
依据查找引擎优化的准则，咱们提出了“LLMO”(大型言语模型优化)，用于表明大型言语模型的优化。
ChatGPT 究竟是什么？
ChatGPT 答复多范畴问题的才干之强悍，引发了全球重视。许多人将 ChatGPT 视为对话式 AI 或 生成式 AI 发展史上的一个重要里程碑。然而，ChatGPT 真实的意义其实在于它能够依据大规模言语模型（LLM）进行查找：
ChatGPT 的中心是查找
ChatGPT 的中心是查找引擎。谷歌经过互联网抓取信息，并将解析后的信息存储在数据库中，实现网页的索引。就像谷歌相同，ChatGPT 运用 LLM 作为数据库来存储语料库的知识性知识。
当你输入查询时：
- 首先，LLM 会运用编码网络将输入的查询序列转换成高维的向量表明。
- 然后，将编码网络输出的向量表明输入到解码网络中，解码网络运用预练习权重和注意力机制识别查询的细节事实信息，并查找 LLM 内部对该查询信息的向量表明（或最近的向量表明）。
- 一旦检索到相关的信息，解码网络会依据自然言语生成才干主动生成呼应序列。
整个过程几乎能够瞬间完结，这意味着 ChatGPT 能够即时给出查询的答案。
ChatGPT 是现代的谷歌查找
ChatGPT 会成为谷歌等传统查找引擎的强有力的对手，传统的查找引擎是提取和判别式的，而 ChatGPT 的查找是生成式的，而且重视 Top-1 功能，它会给用户回来更友好、个性化的成果。ChatGPT 将可能打败谷歌，成为下一代查找引擎的原因有两点：
- ChatGPT 会回来单个成果，传统查找引擎针对 top-K 成果的精度和召回率进行优化，而 ChatGPT 直接针对 Top-1 功能进行优化。
- ChatGPT 是一种依据对话的 AI 模型，它以愈加自然、通俗的办法和人类进行交互。而传统的查找引擎经常会回来单调、难以了解的分页成果。
未来的查找将依据 Top-1 功能，由于第一个查找成果是和用户查询最相关的。传统的查找引擎会回来数以千计不相关的成果页面，需求用户自行挑选查找成果。这让年轻一代不知所措，他们很快就对海量的信息感到厌烦或懊丧。在许多真实的场景下，用户其实只想要查找引擎回来一个成果，例如他们在运用语音助手时，所以 ChatGPT 对 Top-1 功能的重视具有很强的应用价值。
ChatGPT 是生成式 AI, 但不是创造性 AI
你能够把 ChatGPT 背面的 LLM 想象成一个 Bloom filter（布隆过滤器），Bloom filter 是一种高效运用存储空间的概率数据结构。Bloom filter 答应快速、近似查询，但并不保证回来信息的准确性。关于 ChatGPT 来说，这意味着由 LLM 产生的呼应：
没有创造性
且不保证真实性
为了更好地了解这一点，咱们来看一些示例。简单起见，咱们运用一组点代表大型言语模型（LLM）的练习数据，每个点都代表一个自然言语句子。下面咱们将看到 LLM 在练习和查询时的表现：
练习期间，LLM 依据练习数据构造了一个连续的流形，并答应模型探索流形上的任何点。例如，假如用立方体表明所学流形，那么立方体的角便是由练习数据定义的，练习的目标则是寻觅一个尽可能容纳更多练习数据的流形。
查询时，LLM 回来的答案是从包括练习数据的流形中获取的。尽管模型学习到的流形可能很大而且很杂乱，可是 LLM 仅仅供给练习数据的插值后的答案。LLM 遍历流形并供给答案才干并不代表创造力，真实的创造力是学习流形之外的东西。
ChatGPT 由于在某些状况下不说实话而遭到质疑，例如，当要求它为文章找一个更押韵的标题时，ChatGPT 主张运用 “dead” 和 “above”。有耳朵的人都不会认为这两个单词押韵。而这仅仅 LLM 限制性的一个例子。
SEO 陨落，LLMO 冉冉升起
在 SEO 的国际里，假如你经过进步网站在查找引擎上的知名度来获取更多的事务，你就需求研讨相关的关键词，而且创作呼应用户目的的优化内容。但假如每个人用新的办法查找信息，将会产生什么？让咱们想象一下，未来，ChatGPT 将替代谷歌成为查找信息的首要办法。那时，分页查找成果将成为年代的遗物，被ChatGPT的单一答案所替代。
假如真的产生这种状况，当前的 SEO 战略都会化为乌有。那么问题来了，企业怎么保证 ChatGPT 的答案提及自己的事务呢？
这明显现已成为了问题，在咱们写这篇文章时，ChatGPT 对 2021 年后的国际和事情的了解还很有限。这意味着 ChatGPT 永远不会在答案中提及 2021 年后建立的草创公司。
ChatGPT 了解 Jina AI，却不知道 DocArray。这是由于 DocArray 是2022 年 2 月发布的，不在 ChatGPT 的练习数据中。
为了解决这个问题，并保证 ChatGPT 的答案包括你的事务，你需求让 LLM 了解事务的信息。这和 SEO 战略的思维相同，也是咱们将 ChatGPT 称为 LLMO 的原因。一般来说，LLMO 可能涉及以下技能：
- 直接向 ChatGPT 的创建者供给公司事务的信息，可是这很困难，由于OpenAI 既没有公开练习数据，也没有泄漏他们是怎么权衡这些数据的。
- 微调 ChatGPT 或许 ChatGPT 背面的 LLM，这仍然极具应战。可是假如 OpenAI 供给微调的 API ，或许你有充足的 GPU 资源和知识储备，这也是可行的。
- 将给定的几个示例作为预定义的上下提示，进行上下文学习。和其它两种办法相比，上下文学习最可行也最简单。
什么是上下文学习？
上下文学习是一种依据言语模型的技能，它依据给定的几个示例进行学习，以习惯新的使命。这种办法在 GPT-3 论文中得到了推广:
- 给言语模型指定提示，提示包括一系列的用于新使命的输入-输出对。
- 添加一个测试输入。
- 言语模型会经过调理提示，猜测下一个 token 来完结推理。
为了正确呼应提示，模型有必要学习输入散布、输出散布、输入输出之间的映射联系和序列的整体格式。这使得模型无需许多的练习数据就能习惯下流使命。
经过上下文学习，ChatGPT 现在能够为用户查询 DocArray生成答案了，用户不会看到上下文提示。
实验证明，在自然言语处理基准上，相比于更多数据上练习的模型，上下文学习更具有竞争力，现已能够替代大部分言语模型的微调。一起，上下文学习办法在 LAMBADA 和 TriviaQA 基准测试中也得到了很好的成果。令人兴奋的是，开发者能够运用上下文学技能快速建立一系列的应用，例如，用自然言语生成代码和概括电子表格函数。上下文学习一般只需求几个练习实例就能让原型运转起来，即便不是技能人员也能轻松上手。
为什么上下文学习听起来像是魔法？
为什么上下文学习让人惊叹呢？与传统机器学习不同，上下文学习不需求优化参数。因此，经过上下文学习，一个通用模型能够服务于不同的使命，不需求为每个下流使命单独仿制模型。 但这并不是绝无仅有的，元学习也能够用来练习从示例中学习的模型。
真实的奥妙在于，LLM 一般没有接受过从实例中学习的练习。这会导致预练习使命（侧重于下一个 token 的猜测）和上下文学习使命（涉及从示例中学习）之间的不匹配。
为什么上下文学习如此有用？
上下文学习是怎么起作用的呢？LLM 是在许多文本数据上练习的，所以它能捕捉自然言语的各种模式和规律。一起， LLM 从数据中学习到了言语底层结构的丰富的特征表明，因此获取了从示例中学习新使命的才干。上下文学习技能很好地运用了这一点，它只需求给言语模型供给提示和一些用于特定使命的示例，然后，言语模型就能够依据这些信息完结猜测，无需额外的练习数据或更新参数。
上下文学习的深化了解
要全面了解和优化上下文学习的才干，仍有许多工作要做。例如，在 EMNLP2022 大会上，Sewon Min 等人指出上下文学习或许并不需求正确的真实示例，随机替换示例中的标签几乎也能到达相同的作用：
Sang Michael Xie 等人提出了一个结构，来了解言语模型是怎么进行上下文学习的。依据他们的结构，言语模型运用提示来 “定位 “相关的概念（经过预练习模型学习到的）来完结使命。这种机制能够视作贝叶斯推理，即依据提示的信息推断潜概念。这是经过预练习数据的结构和一致性实现的。
在 EMNLP 2021 大会上，Brian Lester 等人指出，上下文学习（他们称为“Prompt Design”）只对大模型有用，依据上下文学习的下流使命的质量远远落后于微调的 LLM 。
在这项工作中，该团队探索了“prompt tuning”（提示调整），这是一种答应冻住的模型学习“软提示”以完结特定使命的技能。与离散文本提示不同，提示调整经过反向传达学习软提示，而且能够依据打标的示例进行调整。
已知的上下文学习的限制性
大型言语模型的上下文学习还有许多限制和亟待解决的问题，包括：
- 功率低下，每次模型进行猜测都有必要处理提示。
- 功能欠安，依据提示的上下文学习一般比微调的功能差。
- 关于提示的格式、示例顺序等灵敏。
- 缺乏可解释性，模型从提示中学习到了什么尚不清晰。哪怕是随机标签也能够工作！
总结
随着查找和大型言语模型（LLM）的不断发展，企业有必要紧跟前沿研讨的脚步，为查找信息办法的改变做好准备。在由 ChatGPT 这样的大型言语模型主导的国际里，保持领先地位而且将你的事务集成到查找体系中，才干保证企业的可见性和相关性。
上下文学习能以较低的本钱向现有的 LLM 注入信息，只需求很少的练习示例就能运转原型。这关于非专业人士来说也简单上手，只需求自然言语接口即可。可是企业需求考虑将 LLM 用于商业的潜在品德影响，以及在关键使命中依靠这些体系的潜在风险和应战。
总之，ChatGPT 和 LLM 的未来为企业带来了机遇和应战。只要紧跟前沿，才干保证企业在不断改变的神经查找技能面前蓬勃发展。
原文链接
jina.ai/news/查找引擎优化-is…
