向量嵌入定义
向量嵌入 (vector embeddings) 是一种将单词、语句和其他数据转换为捕获其意义和联系的数字的方法。 它们将不同的数据类型表明为多维空间中的点，其间类似的数据点更严密地集合在一起。 这些数字表明能够协助机器更有效地理解和处理这些数据。
单词和语句嵌入是向量嵌入的两种最常见的子类型，但还有其他子类型。 一些向量嵌入能够表明整个文档，以及旨在匹配视觉内容的图画向量、用于确认用户偏好的用户配置文件向量、协助辨认类似产品的产品向量等等。 向量嵌入可协助机器学习算法找到数据中的形式并履行情感剖析、言语翻译、引荐体系等任务。
向量嵌入的类型
有几种不同类型的向量嵌入常用于各种运用中。 这里有一些例子：
- 词嵌入将单个词表明为向量。 Word2Vec、GloVe 和 FastText 等技能经过从大型文本语料库中捕获语义联系和上下文信息来学习词嵌入。
- 语句嵌入将整个语句表明为向量。 Universal Sentence Encoder (USE) 和 SkipThought 等模型生成的嵌入能够捕获语句的整体意义和上下文。
- 文档嵌入将文档（从报纸文章、学术论文到书本的任何内容）表明为向量。 它们捕获整个文档的语义信息和上下文。 Doc2Vec 和段落向量等技能旨在学习文档嵌入。
- 图画嵌入经过捕获不同的视觉特征将图画表明为向量。 卷积神经网络 (CNN) 等技能以及 ResNet 和 VGG 等预练习模型可为图画分类、方针检测和图画类似性等任务生成图画嵌入。
- 用户嵌入将体系或渠道中的用户表明为向量。 它们捕获用户偏好、行为和特征。 用户嵌入可用于从引荐体系到个性化营销以及用户细分的所有领域。
- 产品嵌入将电子商务或引荐体系中的产品表明为向量。 它们捕获产品的特点、功用和任何其他可用的语义信息。 然后，算法能够运用这些嵌入依据产品的向量表明来比较、引荐和剖析产品。
嵌入和向量是同一回事吗？
在向量嵌入的背景下，是的，嵌入和向量是同一件事。 两者都指的是数据的数字表明，其间每个数据点都由高维空间中的向量表明。
术语 “向量” 仅指具有特定维度的数字数组。 在向量嵌入的情况下，这些向量表明接连空间中上述的任何数据点。 相反，“嵌入” 特指将数据表明为向量的技能，以捕获有意义的信息、语义联系或上下文特征。 嵌入旨在捕获数据的底层结构或特点，一般经过练习算法或模型来学习。
虽然嵌入和向量能够在向量嵌入的上下文中交换运用，但 “嵌入” 着重以有意义和结构化的方式表明数据的概念，而 “向量” 指的是数字表明自身。
向量嵌入是怎么创立的？
向量嵌入是经过机器学习进程创立的，其间练习模型将上面列出的任何数据（以及其他数据）转换为数值向量。 以下是其工作原理的快速概述：
- 首先，收集一个大型数据集，该数据集表明你要为其创立嵌入的数据类型，例如文本或图画。
- 接下来，你将对数据进行预处理。 这需求依据你正在运用的数据类型，经过消除噪声、标准化文本、调整图画大小或履行各种其他任务来清理和准备数据。
- 你将挑选一个最适合你的数据方针的神经网络模型，并将预处理的数据输入到模型中。
- 该模型经过在练习期间调整其内部参数来学习数据中的形式和联系。 例如，它学习将经常一起出现的单词相关起来或辨认图画中的视觉特征。
- 当模型学习时，它会生成表明数据意义或特征的数值向量（或嵌入）。 每个数据点（例如单词或图画）都由唯一的向量表明。
- 此刻，你能够经过丈量嵌入在特定任务上的性能或运用人工来评价给定结果的类似程度来评价嵌入的质量和有效性。
- 一旦您判断嵌入运转良好，你就能够将它们用于剖析和处理你的数据集。
向量嵌入是什么样的？
向量的长度或维数取决于你运用的特定嵌入技能以及你希望怎么表明数据。 例如，假如你正在创立词嵌入，它们的尺度一般从几百到几千不等 —— 这关于人类来说太复杂了，无法直观地绘制图表。 语句或文档嵌入或许具有更高的维度，因为它们捕获更复杂的语义信息。
向量嵌入自身一般表明为数字序列，例如 [0.2, 0.8, -0.4, 0.6, …]。 序列中的每个数字对应于特定的特征或维度，并有助于数据点的整体表明。 也就是说，向量中的实践数字自身没有意义。 数字之间的相对值和联系捕获语义信息并允许算法有效地处理和剖析数据。
向量嵌入的运用
向量嵌入在各个领域都有广泛的运用。 以下是你或许会遇到的一些常见问题：
- 自然言语处理 (NLP) 广泛运用向量嵌入来履行情感剖析、命名实体辨认、文本分类、机器翻译、问答和文档类似性等任务。 经过运用嵌入，算法能够更有效地理解和处理文本相关数据。
- 查找引擎运用向量嵌入来检索信息并协助辨认语义联系。 向量嵌入协助查找引擎承受用户查询并回来相关的主题网页、引荐文章、更正查询中拼写错误的单词以及主张用户或许认为有协助的类似相关查询。 该运用程序一般用于支撑语义查找。
- 个性化引荐体系利用向量嵌入来捕获用户偏好和项目特征。 它们依据用户与向量中的项目之间的密切匹配，协助将用户个人资料与用户或许喜爱的项目（例如产品、电影、歌曲或新闻文章）进行匹配。 一个了解的例子是 Netflix 的引荐体系。 有没有想过它是怎么挑选契合你口味的电影的？ 它经过运用项目类似性度量来主张与用户一般观看的内容类似的内容。
- 视觉内容也能够经过向量嵌入进行剖析。 在此类向量嵌入上练习的算法能够对图画进行分类、辨认方针并在其他图画中检测它们、查找类似图画以及将所有类型的图画（以及视频）分类为不同的类别。 Google Lens 运用的图画辨认技能是一种常用的图画剖析东西。
- **反常检测**算法运用向量嵌入来辨认各种数据类型中的反常形式或反常值。 该算法对代表正常行为的嵌入进行练习，以便它能够学习发现与标准的偏差，这些偏差能够依据嵌入之间的距离或相异性度量来检测。 这在网络安全运用程序中特别便利。
- 图剖析运用图嵌入，其间图是由线（称为边）衔接的点（称为节点）的集合。 每个节点代表一个实体，例如人、网页或产品，每条边代表这些实体之间的联系或衔接。 这些向量嵌入能够做很多事情，从在社交网络中引荐朋友到检测网络安全反常（如上所述）。
- 音频和音乐也能够被处理和嵌入。 向量嵌入捕获音频特征，使算法能够有效地剖析音频数据。 这可用于各种运用，例如音乐引荐、流派分类、音频类似性查找、语音辨认和说话人验证。
开始运用 Elasticsearch 进行向量嵌入
Elasticsearch 渠道自身将强壮的机器学习和人工智能集成到解决方案中，协助你构建有利于用户并更快完结工作的运用程序。 Elasticsearch 是 Elastic Stack 的核心组件，Elastic Stack 是一组用于数据摄取、丰富、存储、剖析和可视化的免费开放东西。
Elasticsearch 能够协助你：
- 改进用户体会并提高转化率
- 完成新的见解、自动化、剖析和陈述
- 提高员工在内部文档和运用程序中的工作效率