外卖场景的用户逗留时长低于传统电商，对用户实时需求的了解和反应有更高的要求。针对事务问题，外卖引荐团队从2021年起开端持续投入，终究探究出了一套适用于外卖场景的交互式引荐架构和战略，并取得了较好的收益。本文详细介绍了外卖主页Feed在建立交互式引荐时遇到的应战和处理思路。
1. 背景
1.1 什么是交互式引荐？
交互式引荐是一种互动式实时引荐产品模块，首要经过了解用户需求、以互动的方法进行引荐。交互式引荐由Youtube在2018年提出[1]，首要用于处理引荐体系的推迟[2]和与用户互动偏弱的问题。
从2021年下半年开端，美团外卖引荐技能团队在外卖主页Feed上持续进行探究，2022上半年完结全量。详细流程如视频1所示：用户从主页Feed进入商家详情页并退出之后，动态地刺进新的引荐内容到用户引荐列表中。其首要优势是依据用户的实时需求动态刺进卡片进行反应，然后增强用户的运用体会。
视频1 外卖主页Feed中的交互式引荐形状
1.2 为什么需求交互式引荐？
咱们发现，外卖主页Feed在用户即时爱好的捕捉和反应上存在痛点，“比照型”用户的选购功率和体会不佳。外卖主页Feed作为泛意图用户首要选购场景之一，用户在阅读到成单过程中一般需求进行一番比照、才干逐渐收敛意图，然后做出终究决议计划。
但受限于长列表的翻页模式，主页Feed依据用户需求实时调整引荐成果的才干缺乏。详细表现在，一部分用户的阅读深度缺乏一页，引荐体系没有额定的机遇依据用户爱好调整引荐成果。另一部分用户虽然有较深的阅读深度，但需求比及翻页时引荐体系才干从头了解用户意图，实时性缺乏。
业界优化这类问题的首要产品形状有交互式引荐、动态翻页、端上重排这三种。交互式引荐因为是在用户可视范围内刺进，用户感知较强；后两种的主流形状是在用户不可见区域更新引荐，用户感知相对较弱。其实，这三种形状在美团外卖均有测验，本文重点聚焦于交互式引荐的介绍。
2. 问题与应战
咱们在外卖场景建立交互式引荐时，首要面对以下难点和应战：
- 不同于传统的引荐体系，交互式引荐是由用户触发的引荐，外卖场景下，怎么更好的匹配用户实时需求，建立出一套适用于外卖的、依据端智能结构的引荐体系是咱们首要处理的问题。
- 作为主页Feed内部的个性化模块，交互式引荐只做单一模块的优化是不行的，还要考虑主页Feed全体的访购功率。那么，怎么选择优化方针，以及怎么衡量作用和收益，是摆在咱们面前的第二个问题。
- 主流的Feed形状是双列产品瀑布流，但外卖主页Feed是以商家为主的单列列表，怎么防止交互在用户的选择途径上带来的“搅扰感”，在适宜的机遇触发交互式引荐，是咱们面对的第三个问题。
- 交互式引荐具有动态刺进作用，用户关于引荐成果好与坏的感触会更加显着。怎么更好了解用户即时意图，怎么利用主页Feed列表引荐成果优化交互式引荐的单商家卡片，是咱们面对的第四个问题。
本文将从以上四个方面，详细介绍外卖主页Feed交互式引荐从0到1建立的全过程，以及针对以上问题的处理思路。
3. 首要工作
3.1 交互式引荐结构
3.1.1 全体链路
上文说到，要完结交互式引荐，建立出一套适用于外卖的、依据端智能结构的引荐体系非常重要。建立思路能够用“4W1H”来总结：
- Where/How：交互式引荐卡片展现在哪？交互式引荐卡片的展现方法是什么？触及产品形状。
- Who/When：交互式引荐需求对什么样的用户触发？在什么机遇下触发？触及用户意图了解。
- What：交互式引荐卡片需求展现什么？触及引荐战略。
依据对上述问题的考虑和多方讨论，咱们终究和产品、端智能、客户端、使用服务和引荐工程等多个相关团队一同，建立了这套适用于外卖主页Feed的交互式引荐链路。
上图1展现了从“用户点击主页Feed商家卡片”开端，到交互式引荐卡片展现”的全流程。用户进入点菜页后，由客户端调用端智能的意图了解引擎；满足交互式引荐的触发条件后，进行特征处理、计算和存储，并将计算好的将特征传递给客户端拼装引荐恳求；引荐恳求由使用服务层透传给混排服务，再由混排调用商家引荐模块，经过召回、排序、机制、透出阶段，终究回来成果到客户端进行展现。
3.1.2 产品形状
文章开头部分的视频1是咱们线上的终究形状（在用户点击商家下方刺进单个商家卡片），但在此之前，咱们对交互式引荐的卡片形状和交互逻辑进行了多轮测验。
- 在卡片形状上，咱们先后探究、上线了查找词卡片、多商家聚合卡片（如视频2所示）、单商家卡片（如视频所示）等多种形状，测验不同卡片类型对用户选购的影响。
- 在交互逻辑上，为了防止刺进动画对用户选购的“搅扰感”，也比照了“在点击卡片上掩盖”和“在点击卡片下方刺进”两种交互，测验关于用户选购的影响。
视频2 交互式引荐双商家卡片展现样式
在观测不同产品形状的作用差异时，咱们重点重视刺进的交互式卡片关于主页Feed的千人成交额的影响，试验数据见下表：
其间，UV_CXR = 交易用户数/曝光人数。
在探究过程中，咱们也迭代了以下3点认知：
- 首先，单列列表中，越原生的卡片（和主流卡片类似度高），关于用户的搅扰越小，也更简略被用户承受，然后发生点击、成单等行为。
- 其次，不论是查找词引荐，仍是多商家聚合引荐，虽然看上去外露供应更多，但在转化链路中添加了落地页环节，实践带来的折损会更高（如下图2所示）；一起，因为交互式引荐要确保必定的相关性，落地页形状关于供应丰富度的要求更高，可是LBS（依据方位）引荐中供应相对更少，因而难度也更大。
- 另外，在用户选购过程中，“多店比照”是非常常见的场景，因而，将点击商家掩盖住虽然节省了一个坑位，但带来的负向影响要大于其正向收益。
3.2 评价方法和评价方针
交互式引荐的方针是提高主页Feed全体访购功率，然后提高用户体会。评价其收益的核心方针，落脚到主页Feed全体转化功率。然而，交互式引荐有触发战略束缚条件（详见3.3节），流量占比也较低，一起和主页Feed在用户成单上存在“挤占”效应。当交互式卡片的访购功率有较大起伏提高时，才干撬动主页Feed的全体功率。因而，只观测主页Feed全体功率，无法指导交互式引荐的日常战略的迭代和作用的剖析，需求更直接、相信的方针衡量“什么是好的交互式引荐算法”。
咱们评价交互式引荐算法，首要考虑两个维度：
- 刺进卡片的掩盖面
- 刺进卡片的匹配度
为了应对以上两个维度的评价，咱们分别引进“曝光页面Page占比”、“同方位订单增量”来衡量交互式引荐对主页Feed曝光的影响。
评价掩盖面，常见方针是曝光量、曝光占比。但交互式引荐卡片刺进后会改动主页Feed曝光量，直接计算其在主页Feed的曝光占比不合理。因而，咱们将计算曝光的维度从“量”改为“页面”，经过计算交互式卡片曝光Page数在主页曝光Page数的占比来评价卡片掩盖面。
观测Page占比（下文简称“曝光页面Page占比”）便于评价交互式引荐的掩盖面和其理论上限的差异，假如用户在主页Feed的每次点击商家都触发并展现交互式商家卡片，曝光Page占比和主页Feed的Page CTR（曝光点击率）同等。因而，结合主页Feed的Page CTR，咱们就能够观察到交互式引荐掩盖面和其理论上限的距离，便于持续优化迫临上限。曝光页面page占比对同一页面屡次触发不灵敏，因而，咱们引进了交互式卡片曝光PV占比（交互式卡片曝光量占主页Feed曝光量的比值）、曝光UV（曝光交互式卡片的用户占主页Feed曝光用户的比值）占比辅佐观测对主页Feed的影响。
评价匹配度，常见方针是曝光到成单的转化率。咱们认为，交互式引荐刺进的商家应该比上下文中的其他商家更契合用户当时的爱好。因而，最直观的方针就是比照交互式卡片和主页Feed其他卡片的转化率，但这两类卡片比照，会存在三种误差：
- 人群误差：交互式引荐曝光人群是发生过点击的用户，这部分用户群体的转化率天然高于“大盘”。
- 方位误差：交互式引荐卡片由用户点击触发，因为排在前面的商家往往更简略被点击，因而交互式卡片的曝光方位相对更加靠前。
- 资源类型误差：主页Feed列表触及较多主题、广告等异构流量，大部分异构流量往往并不是从转化率动身进行排序。
上述3个误差，使得交互式卡片转化率天然比主页Feed其他卡片转化率高，因而简略比较交互式卡片和主页Feed正常卡片之间的差异并不能正确评价交互式引荐本身的价值。而交互式引荐的产品特性是将原来曝光在主页Feed的卡片依次往后挤压，因而只有当交互式引荐卡片的转化率高于原本该方位的卡片（也就是后来被挤压到交互式卡片的下一位的卡片）的时分，交互式引荐才干发生正面作用。
依据此，咱们运用“比照同一次恳求内，与下一位天然商家预估转化率的相对差异”（下文简称相对下一位差异）来衡量引荐卡片的匹配度，“同恳求”处理了人群误差问题，“下一位”缓解方位误差问题，“天然商家”处理了资源类型误差问题。
此外，扩展掩盖面一般会引起匹配度的下降，为了平衡这两个方针，咱们引进“相对下一位差异乘以交互式卡片曝光量”作为战略迭代的辅佐观测方针，其物理含义是刺进交互式卡片并将原来的卡片往下挤压之后，在该方位发生的预期订单数的增量（下文简称“同方位订单增量”）。
3.3 用户意图了解
交互式引荐，由引荐体系感知到用户的“交互”触发。其了解用户意图的流程首要包含两个阶段：1）用户对引荐体系的哪些行为能够触发交互式引荐；2）触发交互式引荐时用户的即时意图是什么样的。下文将会围绕这两部分展开阐明。
3.3.1 初次触发战略
为了探究不同触发机遇对交互式卡片“相对下一位差异”、“曝光页面Page占比”等方针的影响，咱们依据用户的不同需求，测验了加购物车、点击菜品、逗留时长（10s/5s/2s/进店当即）触发等机遇。试验证明，放宽触发条件会增大交互式引荐不相信触发的风险，导致交互式卡片功率下降，但会带来交互式卡片曝光量的提高，掩盖更多的用户，有利于后续战略迭代。终究，咱们选用“用户从主页Feed进店后当即触发”的初次触发战略。
3.3.2 接连触发战略
因为用户在商家详情页的逗留时长无法确定，且工程上无法完结在用户回来列表的瞬间恳求引荐服务并展现成果，因而，在用户阅读商家详情页期间，体系需求接连屡次向服务端恳求引荐成果，用户在商家详情页的逗留时长越长、需求越清晰，服务端的引荐成果也就越精准。所以，咱们选用“接连触发战略”，即跟着用户在店内逗留时间的添加，或许用户发生新的菜品点击、加购特征后，客户端会接连屡次向后端服务发起恳求，更新引荐成果。
3.3.3 用户实时需求了解
怎么经过端智能[3-4]更好了解用户意图是咱们重视的重点，相比服务端，用户在端上的特征首要有以下2个特色：
- 实时性更好：从“准实时”到“超实时”的交互。
- 维度更细：从“交互Item”进化到“Item交互的Micro-粒度”。
因而，凭借端智能的才干，咱们不再受限于主页Feed的分页恳求更新机制，能够依据用户行为，更好了解用户需求，实时智能决议计划更新引荐成果，缓解反应信号感知推迟问题。
用户点击商家卡片后在店内的首要行为能够帮助咱们更好了解用户实时需求。图4(a)展现了部分店内行为，图4(b)剖析了部分不同的行为比照检查商家介绍行为，在用户当日完单率（当日完单率界说：当日用户在商家内发生某一行为，并在该天然日内外卖有成单）上的差异，阐明不同行为下用户的需求有显着差异。
3.4 引荐排序战略
主页Feed一次展现整个列表，而交互式引荐一次仅展现1个商家卡片。为了引荐更精准的成果，就需求交互式引荐更精确的了解用户实时的外卖需求。因而，咱们在主页Feed的引荐链路的基础上，经过优化“召回->排序->机制->透出”链路，掩盖更多用户的一起，不断提高交互式引荐和用户爱好的匹配度。
3.4.1 召回
召回阶段分为两步（如下图5所示）：
- 利用多个召回算法战略从用户附近召回数百个候选POI商家。
- 利用类似品类过滤计划来过滤和当时用户意图显着不同的商家，并将生成的候选成果传给排序阶段。为更好了解用户即时意图，咱们提出了Item2Item Multi-Trigger召回和类似品类过滤计划。
首先，一方面，咱们直接复用了主页Feed引荐的召回链路，融合了双塔召回[5]、User2Item召回[6]、热销召回等多个召回算法。另一方面，为了加强对用户即时意图的了解和重视，咱们新增了一路Item2Item Multi-Trigger旁路召回。
详细做法是：咱们将用户在主页Feed点击、加购的POI，作为Item2Item召回的Trigger，召回更多契合用户即时意图的商家。其间每个用户的Trigger数是不同的，每个Trigger召回的商家数量也是不同的，其数量满足N/M（N是I2I Multi-Trigger召回的POI总数，M是Trigger数量）。
其次，用户最近点击的商家能够帮咱们更好了解用户即时意图。咱们考虑到外卖场景“比照型”用户居多的特色，为了给用户带来更好的体会，提出了“同叶子品类”战略：束缚了曝光的交互式卡片商家，必须和触发商家的叶子品类（体现的是商家口味，和主营菜品有关，比如串串香、鸡肉卷）相同。可是该计划会带来2个问题：
- LBS束缚下同叶子品类商家较少，导致交互式卡片曝光量少。
- 外卖场景下商家品类界说的粗细（每个商家包含由粗到细的多个等级的品类）粒度不同，交互式引荐需求一套一致的品类界说方法，既要确保引荐商家品类与用户爱好的高相关性，又需求引荐成果有必定的多样性。
因而，咱们参考了现有商家品类界说，考虑了商家口味、顾客类似性以及商家包含的产品品类散布等维度，经过聚类的方法从头界说了交互式引荐的类似品类。详细来说，咱们将200个左右的细粒度的品类，界说为70个左右的粗粒度品类，在满足“比照型”用户诉求的一起，也为更多用户带来了新颖性、多样性的体会。
咱们提出的战略，在显着提高交互式卡片曝光页面Page占比的一起，比照下一位差异显着提高，详细作用能够见下表：
3.4.2 排序
排序阶段，模型的首要任务是猜测CTR、CXR（曝光转化率），并将预估成果传给机制阶段。
优化交互式引荐的排序模型，咱们首要面对样本散布差异、练习样本少的问题。交互式引荐的单商家卡片形状和主页Feed的列表形状天然有差异，导致其样本散布上（如点击率、转化率、人群散布上）显着不一致，直接运用主页Feed的引荐模型缺少对交互式引荐场景个性化的重视，作用会有显着衰减。简略的做法是直接运用交互式引荐的样本练习模型，可是交互式引荐单场景样本较少，会导致模型鲁棒性缺乏。
因而，咱们选择了业界通用的Fine-tune的方法，在主页Feed排序模型的基础上，利用交互式引荐的样本Fine-tune排序模型。一起，咱们充分利用了3.3.3节构建的用户实时需求了解模块，优化模型作用。当然，咱们也探究了不同网络结构关于模型作用的提高，可是限于算力资源等束缚，咱们并没有上线更为复杂的交互式引荐排序模型，详细的模型结构如下图6所示。
输入模型的Embdding数据，经过MMoE[7]层和3层的MLP网络，得到猜测的pCTR、pCXR成果。其间，模型的输入特征分为5种类型：1）用户特征；2）商家特征；3）上下文特征；4）序列特征；5）触发交互式引荐的商家特征。序列特征，包含了实时曝光、点击等序列，并且运用了Micro-Behavior[8]详细信息。
触发交互式引荐的商家特征，包含商家的embdding表明、配送信息、优惠信息等，排序模型离/在线作用如下表所示。能够看出，比照主页Feed排序模型，优化后的交互式引荐排序在卡片功率上显著优于直接运用主页Feed排序模型的作用。
3.4.3 机制
为了更为灵活的承载事务方针，咱们引进了机制模块，方针是对排序阶段传过来的候选商家，依据不同事务方针进行顺序调整（如CTR、CXR、新颖性等）。终究，在统筹新颖性的方针下，交互式引荐依照预估CXR排序，以最大化卡片和列表转化率。与此一起，咱们还从处理负面反应、优化体会两方面进行了体会优化：
- 经过事务规矩束缚来处理负面反应，首要包含：重复曝光商家过滤、预下单商家过滤、同品牌商家过滤、用户不喜欢&黑名单商家过滤，以及防止刺进配送费过高、配送距离过远的商家。
- 在交互体会方面：1)经过在新颖性等方针上的探究，给用户更丰富的引荐体会；2）经过引荐理由的优化，为用户解释引荐原因。
3.4.4 透出
透出阶段，首要判断机制阶段传过来的Top 1的商家是否展现给用户。理论上，用户每次“触发”交互式引荐，体系都有可能引荐一个新的商家进行展现。可是，不考虑商家质量的引荐战略对用户体会和主页Feed作用都有很大损害。因而，咱们探究了卡片的透出战略，即机制阶段透传的Top 1卡片是否展现。
如下图7所示，商家展现区域区分为ABCD四个区域：交互式引荐插卡方位（A）、触发商家（B）、触发商家上文（C）、触发商家下文（D）。交互式卡片刺进后，D区域第一位商家下滑，动画作用会将用户的注意力吸引到交互式卡片A上。可是，用户是否在交互式引荐的商家A中成单，不只和它是否满足用户偏好相关，还离不开和上下文商家C、B、D的比照作用——至少，A应该比C、B、D区域的商家更契合用户当时意图。
咱们更重视主页Feed的转化率，因而，当交互式引荐商家比同上下文的其他商家的pCXR更高时，这个商家才应该被曝光，其方法是：
随后，有几个问题：比照B、C、D区域哪些商家？交互式引荐商家A的pCXR要比比照商家高多少（经过公式1比例系数操控）才应该被展现？关于后者，咱们经过试验得出；关于前者，咱们剖析如下：
- C区域：用户已经阅读过，点击/成单的可能性更低。显着，比照该区域商家含义不大。
- B区域：用户“最近一次点击”&&“触发交互式引荐”的商家，用户对该商家很感爱好。与其比较看似有清晰含义，但该商家能曝光，阐明是同类/类似商家中的佼佼者，在排序模型/特征不做改动的前提下，难以找到pCXR更好的商家。
- D区域：用户未阅读到，交互式商家卡片A一旦展现，其插卡的动态作用一起会使得用户更注意该区域。因而，与这部分商家做比照更契合直觉。
因为限制了卡片的透出条件，交互式卡片曝光量显着下降。试验证明，当交互式引荐卡片比照下1位商家卡片的pCXR更高时，其同方位订单增量最高，曝光页面Page占比损失最少，战略最优。咱们选用该计划。从试验数据看出，比照下N位pCXR均值时，跟着N取值的改变，会影响交互式卡片的曝光量和功率，其作用与直接调整pCXR的过滤阈值同等。在实践出产环境中，选取“交互式引荐同方位订单增量”较高时的参数即可，这儿咱们取1。
4. 总结与展望
本文介绍了咱们在主页Feed交互式引荐探究测验，其间首要包含：
- 依托端智能的才干，结合外卖场景下的用户“多店比照”的选购特色，建立了“动态刺进单卡商家”的交互式引荐体系。
- 充分考虑刺进卡片对主页Feed上下文的影响，提出了“同方位订单增量”等方针，从匹配度、掩盖面两方面构建了“什么是好的交互式引荐体系”的评价方法。
- 从事务了解、用户需求建模等方面动身，经过优化“触发->召回->排序->机制->透出”链路，提高体系对用户意图了解的准度，优化用户体会。
目前，交互式引荐已在主页Feed全量，咱们也收成了如下的事务收益：
- 主页Feed千人成交额+0.43%，主页Feed曝光新颖性+1.16%。
- 交互式卡片相对下一位天然商家的转化率+132%。
未来，咱们将从以下方向进行探究优化：
- 优化产品形状：从定制引荐理由、触发机遇等多个角度持续优化交互式引荐的产品功能，并将动态化引荐才干扩展到外卖其他场景。
- 承载更多事务方针：在满足用户精准引荐的前提下，归纳新颖性、多样性等多种差异化的事务方针，进行建模优化。
- 扩展端智能优势：现有的交互式引荐体系将特征处理、召回、排序、机制等流程都放在服务端完结，可是服务端<->云端的功能限制了更多信息的加工利用，未来能够放到端上完结练习、预估，在完结“千人千模”的极致个性化体会的一起，有用保护用户的隐私。与此一起，咱们能够凭借端智能的优势，探究端上重排序的计划。
5. 本文作者
| 姬晨、亚成、王炜、成龙、姜飞、王聪、北海等，来自到家工作群/到家研发平台/查找引荐技能部。 | 姝阳、张婧等，来自到家工作群/外卖工作部/产品部。
6. 参考文献
- [1] Christakopoulou K, Beutel A, Li R, et al. Q&R: A two-stage approach toward interactive recommendation[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018: 139-148.
- [2] Xinran He, Junfeng Pan, et al. Practical lessons from predicting clicks on ads at facebook. In Proceedings of the Eighth International Workshop on Data Mining for Online Advertising. ACM, 1–9, 2014.
- [3] Gong Y, Jiang Z, Feng Y, et al. EdgeRec: recommender system on edge in Mobile Taobao[C]//Proceedings of the 29th ACM International Conference on Information & Knowledge Management. 2020: 2477-2484.
- [4] 端智能在大众点评查找重排序的使用实践.
- [5] Po-Sen Huang, Xiaodong He, Jianfeng Gao, Li Deng, Alex Acero, and Larry Heck. 2013. Learning Deep Structured Semantic Models for Web Search Using Clickthrough Data (CIKM ’13). Association for Computing Machinery, New York, NY, USA, 2333–2338.
- [6] Yue Shi, Martha Larson, and Alan Hanjalic. 2014. Collaborative Filtering beyond the User-Item Matrix: A Survey of the State of the Art and Future Challenges. ACM Comput. Surv. 47, 1, Article 3 (may 2014), 45 pages.
- [7] Jiaqi Ma, Zhe Zhao, Xinyang Yi, Jilin Chen, Lichan Hong, and Ed H Chi. 2018. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts. In Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining. 1930–1939.
- [8] 美团外卖引荐情境化智能流量分发的实践与探究.
- [9] Zhou G, Zhu X, Song C, et al. Deep interest network for click-through rate prediction[C]//Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining. 2018: 1059-1068.
阅读更多技能文章
| 在公众号菜单栏对话框回复【2022年货】、【2021年货】、【2020年货】、【2019年货】、【2018年货】、【2017年货】等关键词，可检查美团技能团队历年技能文章合集。
| 本文系美团技能团队出品，著作权归属美团。欢迎出于分享和沟通等非商业意图转载或运用本文内容，敬请注明“内容转载自美团技能团队”。本文未经许可，不得进行商业性转载或许运用。任何商用行为，请发送邮件至tech@meituan.com申请授权。
