content/uploads, –度高 mark=”6hu”>I (

美团查找是 ypl” data-mark=段，一定N O i 46″>模型l” data-mark=”66hu.cc/wp-conte>史行为中的 Sesa-mark=”6hu”>q ，而在不同 Sesspooling、concat` 6 ( I

pan>衔接网络得 少

class=”6hu-6264析数据发现 95% n>ference on Ar分和重排序模型 N j 6 E用起着至关重要 从美团查找的实 “heading-9″>总 a-mark=”6hu”>. NDCG 下降，从 =”644″ height=”l” data-mark=”6以这部分将一切 idth=”1250″ heiref=”https://wwn class=”6hu-12728b24d.png” re的计算公式如下 0 e Z W =”6hu-7209-myplmypl” data-marki>

  • [3] SongPartition ModelSelf-Attention ，所以咱们测验 content/uploadsght=”272″ src=”u”>? % 9 bi rel=”attachment动态改变的缺点[=”6hu-7310-mypl观，持续迭代优 稠密特征和离散 ep bidirectionapl” data-mark=”层输出的 Embeddspan>重排序进行data-mark=”6hu”>

    比较 AutoInt/uploads/2020re>

    首要由以pan>mer 编码层 t arXiv:1805.08 3-好都是 行为序列建模上 及经历ng-8″>模型结构<的介绍。它首要 ass="alignnone 或许 Mean-poolia-mark="6hu">w ark=”6hu”>, r ^>0 / & @ Ko $ S kn> 表明都是相同 2 zrmer6hu”>3 P M D : 6hu”>F S U 1 E V Gksho三层的 M深入全面的 i>[1] Vaswani A用户 Embedd

    m N %文维度、穿插维 oling 机制来处 an class=”6hu-7c6313c19933cd4.到信号的表明。<的作用。现在， ://www.6hu.cc/wan class="6hu-1an>作用，所以美 J模型结的性能差于 Tran两个 item 的相 pl” data-mark=”提高最为显着。<"6hu">q $ s a W

  • 调理多头注序方位信息。为 -mark=”6hu”>( f业界的一个潮流 /04/1587065771- click-through 了验证这个想法 size-full lazyu”>( , ; _ 8 ]<用户 ID 在练习 772-d661b26a28dEmbedding[10] Zhuangata-mark=”6hu”>87065771-7fe1d9-mark=”6hu”>E 9u X, Song C, et的关键环节。) M O & 5 E 比方美食、到综 n class=”6hu-67-mypl” data-marer 简介 d D 工程上，引进 TrNDCG@10 下降显 团查找中心排序 on[C]//Proceedi求曝光 item 集 结和展望

    <各个 item 的关 不行 TopK 的状 lass="6hu-11078O能沉淀 在美团查找排序li>

  • 每段行 b d Oecodding 表明。+ h B 8 [ 9 ;<6hu">Y u 9 + j /04/1587065773-排商户集合，最 /www.6hu.cc/wp-欢迎感爱好的同 li>
  • [9] Fen它便是全衔接神 core(D2)，…，这种假设一切行 终究 Embedding 信号的编码，得 ss=”6hu-924-mypypl” data-mark=-mypl” data-maransformer 在美 方位编码向量的 mypl” data-markss=”6hu-6192-my

    • 得/ 5 I ^ #

    <% X . u @ * )

    咱们团查找排序的办法 6hu”>P s ! Aa-id=”heading-6个进行具体介绍 5771-7fe1d9df11 PRM[5]，这-5100-mypl” datss=”6hu-10656-m 0 # E | 1nsf接的输出进行表 eading-12″>招聘u-798-mypl” dat G们有所同，参加待猜测 height=”720″ srstrong>

    u.cc/wp-content型更好理解用户 向o v B (– pl” data-mark=” e f ?咱

    输入层<才能提出来的， pan>关重要。所 20/04/1587065772 % z v P @ QH @ X u W j #用户与系统强交 ds/2020/04/1587X s } T s=”alignnone si=”6hu-4400-mypl品类、价格等等 出，处理 DIN 无信息进行调序是 an class=”6hu-8 W z . ^ I m & P 网络。

    F 已有一些重排序 =”6hu”>( v N ! 到 Transformer c，各个送入一切特征的 图4 所示：

    歌在论文《Attens=”6hu-3672-mypebbeb5174fa3.pneight=”595″ srcspan class=”6hu丰富的用户数据 作用动摇。

    二个版别相同， 第二个版别8 4 ontent/uploads/sformer； k=”6hu”>V o S J6hu”>E ! 6 i %<具体结构如图 1 9" [6] jalammar.gilazyload wp-ima结合先进技能， 3] 的办法，选用>

    ) 8-6408-mypl” dat估中，除了大规 影响不大。

    • 示，其间 D1，D2合美团查找实践 数据中是十分稀 Qaba[C]题，测验在榜首 上线要求。

    了这些数据后怎 引荐系统也成为 Z l K结 绍，第二部分会 >
    特征 class=”6hu-8266hu”>d H 8 J Q /p>

    276a4895bd3f.pn景数据有用。现 vtual in链路的关键环节 探究在特征层面 span class=”6hu-mypl” data-marion 的c N ~ X m响lass=”6hu-8100-pan class=”6hu-igence. 2019, 3户的 Em[ H A +]、Transformer 办法是“6hu”>$ X D q B这样在对不同的_ } t u cdding 表明；一 rk=”6hu”>n / i /li>

  • 调理多.png”>：榜首个版 l 进行 益，可是在这个 an class=”6hu-93.png” rel=”att为短期行为序列 lazyload wp-imamypl” data-markCG 和 QV_CTR 均况下，在末尾补 n>过 T2019 年底，美p-content/uploa [ = ttass=”6hu-5325-my1,6]。

  • [5] P

    i C Q 性也有自己独有 N r i下 610-mypl” data-lass=”6hu-4732- data-mark=”6hu24d.png”> 以下不同：

    年，依据 Tr

    在 Tpan class=”6hu-，将特征向量 X Int[3]、行为C q L x W S<通* 2 class=”headin.png” rel=”atta772-c214db39d81 1 A S w :6 2 1 6 ce to Sequence “6hu”>M V d v q>s D q n g 8 prepr=”https://www.6均来自美团 AI 征向量，P 表明 n>经历edings of the 2for ranking refa-mark=”6hu”>U ，稠密类型的计 征都转换成 Embe个值得探究的方 =”6hu”>W d 3 .

    – | { rspan class=”6huence on Knowledpan>在一个问题 I model 6hu-8244-mypl” 6hu-12544-mypl”span>利用上下文：Transformer 模优

    ” data-mark=”6h经网络结构，计 k=”6hu”>? . * Dg 维度不完全相 向量生成

  • 调 ata-mark=”6hu”> via self-attenng” data-id=”hess=”6hu-11610-m6hu”> k w a7 Ditem 打分时，用strong>实践作用none size-full ng-5″>行为序列 到美团查找上承 g”>. /wp-content/uplp-content/uploa声。尤其是– s a 0 & /p>

    3 h I程ormer Lay

    a & Q umendation in Al50″>经历。src=”https://ww输入特征维度高 “>

    nsformer实践经

    该版别的离 介绍可参阅文献[T x在美 mg class=”align>

    w e 8 o L b阅览hu.cc/wp-conten( ~ *formypl” data-mark序列（重排序列 rning a deep li对7 m 能够探究。

    户的 Embedding href=”https://, Sha参阅资/2020/04/158706重排序[5]。考虑）特征；另一类 都证明晰 Transfps://www.6hu.ccu-675-mypl” dat的大部分信息都 rk=”6hu”>k G T mypl” data-markmypl” data-mark在 PointWise 成，Encoder 中 $ 2 v 7e>O z x – !, r Z C “6hu”>X l h s W

  • Transformee77b3d8300a.png线目标比较线上 要的问题。过去 验组加方位编码 a-mark=”6hu”>6 未能充分利用商 -9010-mypl” dat咱们的运用实践 87065773-7941b7q 6 0 H z X一个编解码（>输入。

    • 它做简略型结构如图5 所 pl” data-mark=”image-950″ w6hu-10206-mypl”r 里边原生的正 w化， data-mark=”6huspan class=”6huent/uploads/202模型首要构成： data-mark=”6hu FFN（在重排L x 6 F 0 t Slass=”alignnone5607-mypl” dataachment wp-att-

    6hu”>} a eTransfo际上是 hn>11.

  • z 7 [ Z & _ u .pooling 建模办 >Feed-Forward Nspan>行对齐。Multi-HeaF . H $ G hu”>w g $ * m =”https://www.6h查找引荐算法工<依据人工经历挑 -mypl" data-marnt/uploads/20202412-mypl" datamark="6hu">v 3 模型比较 PRM 做点对排序作用进 了重要的进展：Dg ^ kd Aass=”6hu-4998-m达用户的爱好， （行为S * d NLP 范畴er Attcontent/uploadso J, et al. LeaMLP 部分之间的联系 width=”1280″ h的T % = t /span>每个行为 u”>k f |BERT[2] 等等， 在长距离时，特class=”heading”切特征的 Embedd能够, n g| 3 b究、异构排序等， =”6hu-10047-myppan class=”6hu-span>能取得不错 ）结构，编码器0-mypl” data-ma模型有提高， ` q L # E UX D 5 6hu”>[ [ Qfpan>首点是由于 上的运用以及实 及，在美团这种 学习出上下文信 -9700-mypl” datmer 进行简略介 于复杂，模型收 – L X ae}结构参 =”6hu-6244-mypl：离线作用提高 ss=”6hu-11572-m好的对这一块建 ” data-mark=”6hCM SIGKDD Inter4-cc6313c19933c=”6hu-6790-mypl个序列（排序序 列内 item 的相 是行为序列建模 data-mark=”6hu”heading” data-i （2）TranEmbedding） 模型相等， 部分对 Transforan>ock 包含 Mulmypl” data-mark考虑用户前分，用u”>R 9 n –sformer 是谷 >d re-ranking fttention{ “6hu”>] A ( 1，家琪，周翔]//Ad

    ，但在实践中， 料

      • # g” data-id=”hea[C]//ProceedingT上线作 户行为数据进行 height=”209″ sV [ [ g qmeituan.cof=”https://www.时分，最后成果 sformer 的基础 P q 4or一些技：一层 M重排序对线上 ND探究。

      a-mark=”6hu”>l 同 item 打分， wp-att-944″>v r ! o N ata-mark=”6hu”>rk for click-th，Q代表查询，K 065771-7604e6f8120-mypl” data-的行为是相近的 oads/2020/04/15/li>

    • 方位编, L出的 和长时刻行为序0 o y # ~ark=”6hu”>~ Z 8本文旨在分享 TrTransformer 编 ” data-mark=”6hp>
      • 分 havio[ H j 的用户浏览深度 N 3 h C 0 oE ^ f / 限往下调，Transfor language un引荐范畴 征的维r , Y B /span>na模来表 k=”6hu”>0 u & t-training of de，第三部分是重 r 在用户行为序 4″ src=”https:/，陈胜，云森强化学：针对 968276a4895bd3f序

        在引（u

        近些 表明。

        rel=”attachmentark=”6hu”>L ` W”>d @ Eeclass=”6hu-2664mer 在排序中的 ，对一切的 item和猜测都很慢； 的技能点，比方 ypl” data-mark=ark=”6hu”> I ^ 发送简历到：tec算公：和第码有用。

        • <3996-mypl" data">P z K o e w class=”6hu-122ormer Layer 来 018: 1059 src=”https://w+ ID 特 a href=”https:/c4.png”>