双方商场下的事务场景非常多样杂乱。在许多状况下，事务方清晰希望经过试验来评价收益和进行战略迭代。但是，受限于多样化的事务方针和杂乱的双方商场环境，确认试验的分流办法变得相对困难。

因而，本文旨在清晰 适用于公司当时普遍事务场景的试验办法 以及对应的理论阐明。这将有助于咱们在双方商场环境中有效地设计试验，评价收益，推进事务战略的继续优化。

一、AB试验布景常识介绍

1. AB试验原理

在事务迭代过程中，咱们经常深化评论的一个重要课题是相关性与因果性。相关性指的是变量间的关联或连接程度，而因果性则涉及一个变量对另一个变量发生的影响，即因果联络。为了确认实在的因果联络，咱们需求排除其他或许影响成果的变量，保证咱们观察到的影响是方针变量对成果的因果作用。

AB试验是一种强有力的办法，本质上是经过操控单一变量，消除其他或许的影响要素，以便精确评价方针变量对成果的因果影响。这种试验设计可以为咱们供给可靠的数据和洞察力，协助咱们深化了解事务情形。接下来，咱们将经过详细事例来展示AB试验在确认因果联络方面的有效性和实用性。

2. AB试验事例

假定某游戏公司为了增加某款网络游戏的销量，增加了投进游戏广告这个动作。为了分析 该动作是否对用户购买游戏发生影响，公司做了如下思考和行动：

1. 首要， 游戏广告或许直接影响玩家购买该游戏，这是一种干涉(treatment)行为导致的成果。
2. 但是，玩家之前玩过这款游戏 是一个或许的混杂要素(Confounders) ，它或许一起影响玩家观看 广告 （干涉） 和 购买游戏 （成果） ，导致了额外的非因果相关性。
3. 最终， 为了排除非因果相关性， 公司经过随机分配用户是否会看到广告（干涉动作），切断干涉动作和混杂要素(Confounders) 之间的联络，那么就可以更精确的衡量 看广告 与 购买游戏之间 的因果效应；

经过随机分配用户是否会看到广告，分出试验组和对照组，进行一项AB试验，以深化研究广告投进对用户购买游戏的因果影响。下图是该事例的因果图解，可发现AB试验的随机分配游戏广告动作，切断了玩家前期玩过相似游戏与看游戏广告的联络。

模型可表明为如下方程：

试验组 outcome1= 混杂变量(confounding) 干涉作用(treatment) 差错(bias)

对照组 outcome0= 混杂变量(confounding) 差错(bias)

干涉作用带来的影响 Treatment = outcome1 – outcome0

这组方程描述了试验结构，其中有一个试验组和一个对照组：

• 试验组成果（outcome1） ：

  • 试验组观察到的成果受以下影响：
    • 混杂变量（confounding）：或许影响成果并存在于试验组中的要素。
    • 干涉作用（treatment）：所测验的特定干涉导致的影响。
    • 差错（bias）：与实在作用偏离的任何系统性差错。

• 对照组成果（outcome0） ：

  • 对照组观察到的成果受以下影响：
    • 混杂变量（confounding）：或许影响成果并存在于对照组中的要素。
    • 差错（bias）：与实在作用偏离的任何系统性差错。

• 干涉作用带来的影响（Treatment） ：

  • 干涉作用（Treatment）可经过核算试验组成果和对照组成果的差值来表明，即：Treatment= outcome1 – outcome0。

这儿的前提是试验组和对照组是经过随机分配进行干涉的，以保证试验的成果可以精确地反映出干涉或治疗的实在作用。

二、不同场景下所需试验办法总览

不同事务场景需求契合不同的分流准则，根据需求契合的分流准则确认分流办法，各分流办法有其对应的收益和危险。

综上不同的事务场景或许需求选用不同的分流办法，以适应特定事务需求和试验方针。

1.AB试验分流准则

1.1 体会一致性

1. 概念阐明：

事务迭代过程中，部分场景下待试验的几种干涉动作往往体会会相距较大；而不同体会下轮转会让用户/司机有显着感知，从而发生负面体会；不同用户体会不一样，也会发生轻视性问题。 1. 所以一些较为敏感的战略,如价格调整,激励变化等,往往需求顾及用户间的体会公平性和用户长时刻体会的一致性。

2. 场景举例：

a. 抢单大厅功用改版：同一司机在不同体会下轮转或许会让司机以为有bug 或 加大司机使用成本， 因而只能司机ID分流；

b. 定价战略：在同一个方位的两个用户， 定价不一样， 就会发生轻视性问题；

1.2 别致效应可观测

1. 概念阐明：

别致效应/冯雷斯托夫效应指出特别的东西比一般的东西更容易回想；从事务上来看，某个功用与曩昔经历不一起，用户会发生因「经历不同」带来的别致效应。该功用会愈加吸引用户，加深用户的回忆；从目标上来看，某个功用/界面的改版，从短期目标上来看或许有正收益，但长时刻目标会收敛，甚至负向。 1. 所以在AB试验中，需求保证可以观测和考虑别致效应对试验成果的影响，以便判别试验的实在作用。

2. 场景举例：

抖音保藏icon改样式：保藏功用渗透率短期目标正向，但长时刻来看， 该目标随时刻快速收敛状况；

1.3 试验组对照组同质可比

1. 概念阐明：

AB试验的原理便是操控单一变量，因而务必需求保证试验组和对照组是同质可比，才可以推断出试验组和对照组核心目标差异来自于战略，而不是两组群体自身的差别。

2. 场景举例：

   a. 附加费：附加费当时是使用起终点网格进行分群，样本量较小，所以试验组和对照组之间天然存在差错，因而在试验复盘时需求一定纠偏；

   b. 抢单大厅功用改版：司机端的试验往往是用司机ID进行分流，但大小车的全体司机数量有限，即使全体上来看试验组对照组同质可比， 但细分维度下，比如城市，或许试验组天然便是优于对照组；

   c. 分单-PK：在不合理的分流办法下，OA侧的试验往往会呈现试验组和对照组之间显着的运力竞赛，而运力竞赛也会导致两组在运力层面上不同质可比。

1.4 试验周期可控

1. 概念阐明：

AB试验核心意图服务于事务决议计划和迭代， 因而往往AB试验的周期就决定了事务迭代的速度；因而需求试验周期全体可控。

2. 场景举例

部分事务在迭代的时候不得不选择间隔天试验， 但隔天试验往往会拉长试验周期；经过测算，至少需求3-4周才能得到相对科学的定论；

2.试验办法总览

2.1 不同试验办法的收益与危险

2.2 不同场景下适用的试验办法