【2022 MS MARCO】【阿里】HLATR：基于混合列表感知Transformer重排的多阶段文本检索增强 ( .feat PRM：个性化的推荐重排)

论文: 《HLATR: Enhance Multi-stage Text Retrieval with Hybrid List Aware Transformer Reranking》[1]

1. 背景

由于数据规划和计算资源的约束，当时文本检索体系一般遵从召回-排序范式，召回和精排模型一般被实例化为咱们在《【NAACL 2021】AugSBERT：用于改善成对语句评分使命的 Bi-encoder 数据增强方法[2]》中介绍到的 Bi-Encoder 和 Cross-Encoder。

• • Bi-Encoder：

​

修改

增加图片注释，不逾越 140 字（可选）

\

• • Cross-Encoder：

​

修改

增加图片注释，不逾越 140 字（可选）

\

虽然在检索体系中，召回和排序模型是紧密相关的，可是现在已发表的作业大多仅致力于优化整个检索体系的单个模块。也就是说，面向召回模型的优化作业大多不会考虑排序模型的功能，反之亦然。虽然最近也出现了一些联合优化召回模型和排序模型的作业，比如以前介绍过的：

《【NAACL 2021】AugSBERT：用于改善成对语句评分使命的 Bi-encoder 数据增强方法》[3] 《【NAACL 2022】GPL：用于密集检索的无监督域自适应的生成伪符号》[4] 《【ICLR 2022】Trans-Encoder：经过自蒸馏和彼此蒸馏的无监督句对建模》[5]

可是这些作业的出发点都是利用表达能力更强的排序模型来提高召回模型的功能（AugSBERT、GPL），或是测验蒸馏进行彼此的提高（Trans-Encoder）。

由于练习过程中负样本规划和特征的差异，召回模型更倾向于学习粗粒度相关性，而排序模型更倾向于学习细粒度相关性。 这儿需求注意的一点是，细粒度相关性和粗粒度相关性并无好坏之分，它们的联系实际上有点像模型鲁棒性和模型泛化性的联系。根据上述剖析，咱们能够猜测召回和排序的特征实际上是有必定的互补性的，假如咱们能够有效地交融召回和排序的特征并用来对候选文档集合做进一步的重排序，是不是能够进一步提高整个体系的排序功能呢？

2. HLATR

根据此，本文作者在传统的召回-排序两阶段检索体系的基础上，提出了第三个重排阶段，该阶段交融了粗粒度召回特征和细粒度排序特征，进一步改善 query 和候选 document 的相关性打分，从而提高整个体系的检索功能。本文作者将该三阶段重排序的模型命名为混合列表感知排序模型 HLATR ，如下图所示：

• • HLATR 选用 Transformer Encoder 作为特征交融结构，整体结构如下图所示：

• • 作者将排序模型顶层输出的文档表明向量作为 HLATR 输入的 token embedding：

​

修改

增加图片注释，不逾越 140 字（可选）

其间WvW_vWv​为要学习的参数。

• • 将召回模型输出的排序序号作为对应文档的 position embedding：

​

增加图片注释，不逾越 140 字（可选）

其间$p$为要学习的参数。

• • Transformer Encoder 的底层输入为 ：

​

修改

增加图片注释，不逾越 140 字（可选）

其间$Z$为候选文档集合的巨细。

• • 每个位置的输出为$q$和did_idi​的打分：

​

修改

增加图片注释，不逾越 140 字（可选）

\

• • 选用 listwise 的比照丢失优化模型：

​

修改

增加图片注释，不逾越 140 字（可选）

\

3. 实验结果

实验结果如下表所示：

咱们能够发现在不同的实验设置下，HLATR 的功能均逾越了两阶段排序结构和 WCR 战略。WCR 战略是一个简略的基线战略——将召回打分和排序打分做一个线性加权交融：

​

修改

增加图片注释，不逾越 140 字（可选）

阐明 HLATR 带来的功能提高对模型类型和模型巨细来说均是鲁棒的。另外，WCR 战略实际上也能够带来小幅度的稳定提高，这也阐明混合召回排序粗细粒度能增强文本检索的猜测是正确的。

4. 思考

4.1 比照排序阶段

HLATR 做的是 listwise 级别的相关性建模，而第二阶段排序的相关性建模大多只能做到对输出的相关性打分进行 pointwise 或 pairwise 建模。HLATR 有着更大的负样本规划，输入的每个位置都表明着一个文档，在练习过程中咱们能够考虑输入召回模型返回的整个文档集合，而不是像第二阶段排序那样还需求随机抽样负样原本结构练习集。

4.2 比照 PRM：个性化的引荐重排

发现阿里出的 HLATR 搜索重排模型，和同样是阿里的引荐重排模型 PRM 结构十分类似：

能够参阅 paper《Personalized Re-ranking for Recommendation》[6]

对于在排序阶段得到的 items，咱们能够得到它们对应的原始特征向量xi1,xi2,…,xin{x_{i_1}, x_{i_2}, …, x_{i_n}}xi1​​,xi2​​,...,xin​​，组合成了初始的特征矩阵。然后将这个矩阵和一个 PV 的个性化矩阵 concat 起来，组成一个 embedding 矩阵。PRM 的 x 部分，类似对应 HLATR 中召回模型输出的向量。

个性化矩阵 PV，那么它是怎么得到的呢？如下图所示：

​

修改

增加图片注释，不逾越 140 字（可选）

PRM 的 PV 部分，类似对应 HLATR 中排序模型输出的向量。

PRM 的 position embedding(PE) 是排序结果位置 embedding，而 HLATR 的 PE 是召回结果位置 embedding。

比照 PRM，引发了我对于 HLATR 架构的一个困惑：

HLATR 并没有类似于 PRM 引进 items 原始特征那样，很好的引进 document 的特征。 HLATR 中的向量$v$是根据排序模型向量的输入，可是排序模型中该向量是接着 point-wise 二分类使命，所以该向量应该是不能很好的表达 document，这样一来可能就会影响 Transformer Encoder 对语句间进行特征交互的作用。

学习 PRM，我以为 HLATR 的 Transformer Encoder 输出能够测验改为以下方案：

[bi-encoder emb；cross-encoder emb] + [recall position emb；rank position emb]

猜测这可能会有更好的作用，当然这需求实验验证 ~~

\

\

\

这儿为你准备了更多干货。为你引荐极客时刻出品的《NLP 实战高手课》。全方面提高你的 NLP 实战技术：

引证链接

[1] 《HLATR: Enhance Multi-stage Text Retrieval with Hybrid List Aware Transformer Reranking》: arxiv.org/abs/2205.10… [2] 【NAACL 2021】AugSBERT：用于改善成对语句评分使命的 Bi-encoder 数据增强方法: blog.csdn.net/u011239443/… [3] 《【NAACL 2021】AugSBERT：用于改善成对语句评分使命的 Bi-encoder 数据增强方法》: blog.csdn.net/u011239443/… [4] 《【NAACL 2022】GPL：用于密集检索的无监督域自适应的生成伪符号》: blog.csdn.net/u011239443/… [5] 《【ICLR 2022】Trans-Encoder：经过自蒸馏和彼此蒸馏的无监督句对建模》: blog.csdn.net/u011239443/… [6] 《Personalized Re-ranking for Recommendation》: arxiv.org/pdf/1904.06…