1. 前言
在线 AB 试验成为当今互联网公司中必不可少的数据驱动的东西，许多公司把自己的产品来做一次 AB 试验作为数据驱动的试金石。
数据 => 洞悉 => 优化，循环往复寻找最优解，寻找增长的办法。
AB 中有句经典的名言：斗胆假定，当心求证。
本分享从以下几个方面来介绍：
1、数据驱动
2、底子架构
3、方针选取
4、数据剖析
2. 数据驱动
AB 试验并不是万能的，没有 AB 试验也不是万万不能，可是有了 AB 试验能够少走许多弯路。
2.1 AB 试验与数据驱动
AB 试验阶段对应数据驱动的不同阶段，从最底子的规划履行剖析阶段到绝大多数改动需求 AB 验证，从简略到杂乱，从少量试验到大规模试验，正好对应的数据驱动从「爬，走，跑，飞」的四个阶段，联系是层层递进的。
2.1.1 规划履行剖析阶段
规划履行剖析阶段首要是：数据检测设置和数据科学能力搭建。在 AB 试验上进行屡次的试验，从试验的规划，方针的界说，试验的敞开，试验成果的剖析，并且找到成功的一些试验案例有助于咱们进入到下一阶段。
2.1.2 标准化方针阶段
标准化方针阶段首要是：运转少量试验到界说标准方针再到敞开更多试验。AB 试验开始运转愈加杂乱的 case 来持续验证数据的可行性，并且经过运转 AA 试验来验证渠道潜在的问题，一同能够进行样本比率误差检测。
2.1.3 大面积试验AB试验阶段
从上一个阶段的标准化方针，现已能够运转许多试验，并且各种方针也逐渐相对老练，每次试验进行多个方针的权衡，然后在一个运用上利用 AB 试验对绝大多数的新功能和改动做试验。
2.1.4 绝大多数改动需求AB验证阶段
简直一切的改动都需求经过 AB 试验的验证，能够在没有数据科学家的辅佐下，能够对大多数的试验进行独立的剖析和运作。一同经过对曩昔试验的剖析，AB 试验的有用性和最佳实践也能得到不断的更新。
2.2 数据驱动的条件
2.2.1 试验标准化
数据决议计划肯定是一套标准化的东西来标准，试验标准化也是 AB 数据驱动的必备条件。
那什么是 AB 试验的标准化呢？
AB 试验需求留意⚠️辛普森悖论、幸存者误差、挑选误差等，留意事项都是来源于对撞因子，简略来说便是「是指一同被两个以上的变数影响的变数」，具体的能够在 google 深化了解一下。
2.2.2 试验成果可信性
有数字简略，让人信赖的数字需求下功夫。敞开试验简略，试验报告有数字很简略，这些数字的可信度，这些数字让人信赖更重要，需求花费更长的时刻。
许多试验中或许只要很小一部分试验，例如微软大约 30% 的成果是正向活跃的，终究能够发布到整个运用上。
举个比方：
假如我抛起三枚硬币，落地分别是正正反，那么我能够说抛硬币正面朝上的概率是三分之二吗？
概率和频率并不是一个东西，同理，少量几次 AB 试验的成果也不能证明版别 A 和版别 B 的优劣。
咱们需求核算学上的严格证明和核算，来判别一个试验成果是否显着，是否可信。
2.2.3 怎样衡量好的主意
关于任何一个主意咱们很难去衡量它的好坏，斗胆假定当心求证。短期方针或许会与更关键的长时间方针发生冲突。
举个比方：
一家超市突然提高价格，或许会在短期带来更高赢利。但长远看，假如更多的顾客改从竞争对手那里购买商品，那么这家店的收入就会削减。
别致效应怎样防止？
关于用户有感知的 A/B Test，如 UI 改版、新的运营计划、新功能上线等，试验组做的任何改变都或许引起用户的留意，好奇心驱使他们先体会一番，然后导致 A/B Test 中试验组作用一开始优于对照组，p-value 极小，试验作用十分显着。可是一段时刻曩昔后，用户关于新的改版不再灵敏，试验组作用回落，显着性或许会下降，终究趋于稳定。满足的样本量能确保一个合理的试验周期，能够运用咱们的流量核算器中核算流量和试验周期，然后防止这种别致效应的影响。
3. 底子架构
AB 试验的思想十分简略直观，可是并不是代表做 AB 试验是一种很简略简略的工作。
举个比方，在网站完结一个 AB 试验，首要涉及到 2 分部分：
第 1 个是：随机算法，作用是将 users 映射到不同试验组中。
第 2 个是：分配办法，随机算法的成果来决议每一个用户是否看到该网站的试验。
3.1 流量切开
流量切开的方式：分流和分层。
每个独立试验为一层，层与层之间流量是正交的（简略来讲，便是一份流量穿越每层试验时，都会再次随机打散，且随机作用离散）。试验在同一层拆分流量，不论怎样拆分，不同组的流量是不堆叠的。
3.1.1 分流
分流是指咱们直接将全体用户切开为几块，用户只能在一个试验中。可是这种状况很不实践，因为假如我要一同上线多个试验，流量不够切怎样办？那为了达到最小样本量，咱们就得延伸试验周期，要是做一个试验，要几个月。
简略来说：分流是指对流量进行全体切开，试验之间互斥。
意图：为了获取纯净的分区，不会互相影响。
缺点：浪费流量，导致流量不够。
3.1.2 分层
便是将同一批用户，不停的随机后，处于不同的桶。也便是说，一个用户会处于多个试验中，只需试验之间不相互影响，咱们就能够无限次的切开用户。这样在确保了每个试验都能用全流量切开的一同，也确保了试验数据是相信的。
简略来说：对全体流量分流分层。
意图：同一个用户在不同的试验组，相互不会影响。
缺点：不同层之间的 hash 值尽量不要重合。
3.2 怎样看待随机单元？
什么是随机单元呢？简略来说，随机单元便是 AB 试验需求达到随机的最小单元。一个 web 网站中，最小单元或许是页面等级，或许是会话等级，或许是用户等级。
举个比方：
咱们挑选页面等级的随机单元，AB 试验针对某一个页面，用户每一次打开页面的时分决议把该用户导向某一个试验组。
最简略的状况便是：随机单元和剖析单元是共同的。咱们大多数状况也是将随机单元和剖析单元采用用户等级。两种单元不共同或许使得试验剖析变得愈加杂乱。
3.3 随机算法
首先什么是随机数？不确定的数。
大多数随机算法运用的是伪数字生成器。
那什么是伪数字生成器？一个生产数字序列的算法，特征近似随机数序列的特性。伪随机数生成器通常承受一个随机种子（seed） 用来初始化生成器的初始状况。
依照暗码学来将「随机」分为三种等级：
1.伪随机 (PRNG) 2.暗码学安全的伪随机 (CSPRNG) 3.真随机 (TRNG)
伪随机 PRNG 生成的序列并不是真随机。它彻底是由一个初始值决议，初始值称为随机种子（seed）。接近于真随机序列能够经过硬件随机数生成器生成。可是伪随机数生成器因为其生成速度和可再现的优势，实践中也很重要。
寻找一个适宜的随机算法是十分重要的。
一个试验的每一个 variant （试验组或对照组）都具有关于 users 的一个随机抽样。随机算法有必要有一些特征。特征如下：
- 特征（1）：用户有必要等或许看到一个试验的每个 variant，关于恣意的 variant 有必要是无偏的。
- 特征（2）：同一个试验中，关于单个 user 重复分配有必要是共同的，关于该用户每次后续拜访中，该 user 有必要被分配到相同的 variant 上。
- 特征（3）：当多个试验一同并行运转的时分，试验之间有必要没有关联联系。也便是在一个试验中，一个 user 被分配到一个 variant，关于被分配给其他恣意试验的一个 variant，在概率上没有影响。
- 特征（4）：算法有必要支撑单调递增的，也便是说，假如没有对那些现已被分配给试验组的用户分配进行改变，用户看到一个试验组的百分比或许会缓慢增加的。
3.3.1 运用 caching 的伪随机
伪随机数的随机性能够用它的核算特性来衡量，首要特征是每个数呈现的或许性和它呈现时与数序中其他数的联系。
伪随机数的优点是它的核算比较简略，并且只运用少量的数值很难揣度出它的核算算法。
运用 caching 缓存，能够运用标准伪数字生成器作为随机算法，一个好的伪数字生成器会满足特征（1）和特征（3）。
关于特征（2），需求引进状况，用户的分配有必要被缓存，或许缓存完结能够是数据库存储，便于下次再次拜访运用。
3.3.2 Hash 和分区
不同于伪随机办法，hash 和分区是无状况的，每一个 user 都会被分配一个仅有的 user_unique_id，运用 ssid 和 webid （或许其他）来维持。user_unique_id 会和试验的 id 进行映射绑定，接着 user_unique_id 和试验 id 运用 hash 函数来获得一个整数，整数的规模是均匀散布的。
hash 函数的选取需求留意⚠️，假如 hash 函数有漏斗（那些相邻 key 的实例会映射到相同的 hash code），会形成均匀散布的冲突，假如 hash 函数有特性（某一个 key 改变会发生一个 hash code 上可猜测的改变），会形成试验之间会发生相关。
「加密 hash 函数 MD5 」生成的数据在试验间没有相关性。其实还能够重视「大质数素数 hash 算法」等愈加精密优良的算法。
3.4 试验灰度发布
试验发布是一个简略忽略但又十分重要的步骤，从比较小的流量慢慢发布到相对比较大的流量，直到终究全站发布。这个进程是需求自动化和危险操控相结合。
咱们经常的做法便是：
- 试验发布之后，还能够预留一些流量来衡量试验的长时间作用。
- 还能够重复发布某一个试验，看试验的成果是否能够保持。
4. 方针选取
选取什么方针来进行检测，然后更好的帮助咱们进行数据驱动决议计划。
关于一个运用或许产品来说，或许会有许多方针的挑选，哪些方针需求被要点重视，哪些仅仅是重视，哪些是能够不重视。为什么要界说这个方针，这个方针的界说是为了阐明什么状况，假如这个方针发生改变，将需求怎样去解说它。
4.1 方针特性
选取什么方针来进行检测，然后更好的帮助咱们进行数据驱动决议计划。
关于一个运用或许产品来说，或许会有许多方针的挑选，哪些方针需求被要点重视，哪些仅仅是重视，哪些是能够不重视。为什么要界说这个方针，这个方针的界说是为了阐明什么状况，假如这个方针发生改变，将需求怎样去解说它。
4.1.1 依照试验的角度来区分
中心方针：需求优化的方针方针，决议这个试验的终究发展方向。这种方针在一个试验是十分少的，在运转之后是不做改变的。
非中心方针方针：与中心方针有因果联系的+根底数据的方针，根底数据的方针是运用运转的底线。
4.1.2 方针灵敏性和鲁棒性
方针灵敏性：方针对所关怀的事物是否满足灵敏。
方针鲁棒性：方针对不关怀的事物是否满足不灵敏。
能够经过预先小规模试验来验证，或许 AA 试验来排除伪联系。
4.1.3 方针分类
（1）计数或许求和（比方：拜访页面的用户数）。
（2）方针散布的平均数，中位数，百分位。
（3）概率与比率。
（4）份额。
4.2 自顶向下规划方针
（1）高层次的方针（比方：活跃用户数，点击转化率 CTR 等等）。
（2）方针细节（比方：怎样界说用户活跃）。
（3）运用一组方针，并将它们整组成一个单一方针（比方：整体点评方针 OEC ）。
整体点评方针 OEC ：假如是运用一套方针，能够把他们聚组成一个方针，比方构造一个方针函数，或许是简略的加权方针。比方 OEC = A * 0.6 + B * 04 + C * 2 。
现在咱们的战略是方针，仍是独立去观测。那为啥不运用 OEC 来看方针呢？经过 OEC 看的方针不能独自观测多个方针，关于新手小白比较友爱，只需求重视 OEC，不需求重视多个方针的数据，可是并不能真的反应多个方针的实在状况。
举个比方：
点击率的界说：
- 界说一：登陆后总点击次数 / 登陆后的去重后的拜访总数
- 界说二：被点击的页面数 / 总页面数
- 界说三：总的页面点击次数 / 总页面数
5. 数据剖析
有了 AB 试验，并且有试验方针选取之后，试验成果的剖析就成为一件十分重要并且有挑战的工作。
发生一组数据很简略，可是从数据中剖析得到试验的洞悉（Insight）并不简略。
5.1 试验成果显着
上面有提到试验成果的可信度，接下来具体来介绍。
提到试验成果是否显着，咱们需求知道核算学中 2 类核算过错，咱们简略阐明一下，这儿咱们不展开说。
5.1.1 两类核算学过错
在核算学的国际里，咱们往往只说概率，不说确定，在实践国际中往往只能根据样本进行揣度。在 AB 试验中，咱们 不知道实在状况是什么，因此做假定查验的时分就会犯过错，这种过错能够区分为两类：
- 这是第一类过错：实践没有差异，但试验成果表明有差异，咱们得到显着成果因此否定原假定，以为试验组更优，发生的概率用 表明。
- 这是第二类过错：实践有差异，可是实践成果表明没有差异，咱们得到不显着的成果因此无法回绝原假定，以为试验组和对照组没有差异，发生的概率用 表明。
抱负状况下当然是期望能够一同操控这两类过错，可是这是不或许的，两个概率值之间是负向联系，其间一个值的削减必定伴随着另一个值的增大，为什么呢？后续有时机再分享。
5.1.2 显着和可信的判别
是否显着，是否可信，咱们能够经过以下几种要素来判别：****
（1）p 值。展现该方针在试验中犯第一类过错的概率，该概率小于显着性水平 ，核算学中称为显着，1- 为相信度或相信水平。
- 简略来说：p 值判别不同版别的试验成果之间不存在显着差异的概率。
- p-value 越小越可信，有显着差异的方针，P-value=0.01 的比 P-value=0.05 的可信度更高。
- p 值底子上还有另一个相对应的叫作 t 值，这个 p 值其实便是在 t 散布下 ≥t 值的概率密度值 (P(x≥t))。
通常状况下：
p 值 > （显着水平， 值一般 5%） ，阐明 A 版别和 B 版别没有太大不同，不存在显着性差异。
p 值 < （显着水平， 值一般 5%），阐明 A 版别和 B 版别有很大的不同，存在显着性差异。
咱们根据判别 p 值和第一类过错概率 比较，现已做了决议计划。是不是觉得功德圆满，不，咱们能够继续考虑 power 核算成效来衡量试验的可信。也便是咱们要一同考虑第二类过错概率，这时分引进 power 核算成效。
（2）power 核算成效（1 -）。试验能正确做出存在差异判别的概率。
- 能够理解为有多少的掌握以为版别之间有不同。
- 该值越大则表明概率越大、成效越充分。
- 一般来说，咱们一般并设置的最低的核算成效值为 80% 以上。以为这样的可信度是能够承受的。
举个比方：
试验 A 显现，power（核算成效）为 92%，那么就能够理解为有 92% 的掌握以为版别 A 和版别 B 之间是有不同的。
可是 power 底子算不出来，power 作为需求满足的前提条件，作为先验的输入值。
- 试验敞开前，经过流量核算器中核算流量和试验运转时长。
- 试验敞开后，经过 power=80%，然后核算 MDE。
（3）MDE 查验灵敏度，能有用查验出方针相信度的 diff 起伏。
经过比较方针MDE 与方针的方针提高率来 判别不显着的定论是否 solid，能够防止试验在灵敏度缺乏的状况下被过早作出非显着定论而结束，失去有潜力的 feature。
MDE 越小，阐明当前的试验灵敏度越高，并且能够以为：试验组比较于对照组，只要高于 MDE 的提高才能大概率检测出作用显着。小于 MDE 的提高，大概率不会被检测出显着。
- 当前条件：指当前样本量，方针值和方针散布状况，并假定样本方差与整体方针方差满足接近。
- 有用检测：指检出概率大于等于 80%（也便是犯第二类过错概率<=20%）
- 首要影响要素：样本量巨细
举个比方
假定你对该方针的预期方针提高率为 1%。
- 假如此刻 MDE = 0.5%，MDE ＜ 预期提高值， 阐明方针改变真的不显着，请结合业务 ROI 和其他维度里例如用户体会、长时间战略价值等来综合判别是否值得上线。
- 假如那此刻 MDE = 2%，MDE ＞ 预期提高值，阐明当前能查验出显着性的最小差异值是 2%，因为灵敏度缺乏未能检测出。这种状况下主张增大样本量，例如扩展流量、再调查一段时刻堆集更多进组用户，方针还有相信的或许。
（4）相信区间。相信区间便是用来对一个概率样本的整体参数的进行区间估量的样本均值规模。一般来说，咱们运用 95% 的相信水平来进行区间估量。
相信区间能够辅佐确定版别间是否有存在显着差异的或许性：
- 假如相信区间上下限的值同为正或负，以为存在有显着差异的或许性。
- 假如一同正负值，那么则以为不存在有显着差异的或许性。
在火山引擎 AB 测验的试验报告中，方针剖析的具体视图中有个值叫相对差，该值便是方针改变的点估量值，而相信区间给出的是方针预期改变的区间估量 值， 区间估量值有更大的或许性覆盖到方针相对改变的实在值。（假定做 100 次试验，有 95 次算出的相信区间包含了实在值）。
能够这样简略但不谨慎地解读相信区间 ：假定战略全量上线，你有 95% 的掌握会看到实在的方针收益在相信区间这个规模内。****
5.1.3 决议计划流程
5.2 屡次测验
简略的说：传统的假定查验的设置是对需求检测的「假定」进行仅有测验，然后核算 p 值。咱们有 5% 的概率观测到某一个并没有实践改变的“方针”显得有核算意义上的显着改变。
实践中，关于同一个试验，咱们经过 AB 试验反复调查成果，或许反复针对同一个主意进行迭代。
呈现更严重的问题便是：咱们针对同一个试验，常常一同观测几十个或许上百个方针，导致呈现屡次试验的问题，大大增加了观测并不该有显着改变的方针有了核算意义改变的概率。
5.3 方差的核算
t检测中咱们需求对数据的办法进行核算。有时分咱们的“方差”核算是有问题的，之前有提到的「随机单元」和「剖析单元」不共同的状况下，核算比率型的方针，比方点击率。
咱们来看一个场景：经常咱们的「随机单元」是用户等级的，可是咱们期望核算的是一些页面等级的点击率，然后看对照组和试验组之间的不同的，这个时分就存在「随机单元」和「剖析单元」不共同的问题，传统的核算点击率的「方差」公式或许存在问题。
5.4 样本比率误差
在抱负的状况下，对照组和试验组的流量是一半一半的，也便是 50% 的进入到对照组，50% 的进入到试验组。可是实践是严酷的，比方会呈现 50.27% 的用户进入到对照组，别的 49.73% 的用户进入到试验组。
这种状况正常吗？咱们还信任这样的试验成果吗？
这样状况的排查和剖析。简略的说，咱们需求把这样的分流成果当作假定查验，看这样的成果是否异常。
5.5 AA 试验
AA 试验往往作为检测渠道稳定性和试验设置是否正确的重要手段。
总是有人想着做「AA」试验，为什么会这样呢？提到底仍是关于 AB 试验存在疑虑和不信赖。大多数想做 AA 试验的意图首要是：验证用户分流是否“均匀”；比较“ AA 组内差异”和“ AB 组间差异”。
其实 AA 试验中的方针差异显着/相信并不代表分流不科学，AA 试验的方针必定存在差异，并且方针差异或许还不小，AA 差异或许“显着”。
也便是说，对 AB 系统本身进行测验，以确保系统在 95% 的时刻内正确识别出没有核算学意义上的显着差异。
5.6 对照组和试验组之间干涉
传统的试验咱们假定对照组和试验组是彻底隔绝的，然后实践中，彻底的阻隔是不或许的。
举个比方：
社招网络中，朋友与朋友的联系，咱们依照传统的随机区分流量的办法，或许一个用户在对照组，他的朋友在试验组，这样这个用户或许接触到对照组的一些信息，然后违反了假定查验的一系列底子假定。
5.7 方针的长时间作用
有一些“方针”的作用在 A/B 试验之后，或许会呈现一些“恶化”，也便是说，作用或许没有之前那么显着了，甚至会呈现作用彻底消失。
假如遇到短期作用与长时间作用或许呈现不共同的状况，主张延伸测验时刻，调查长时间作用。
可是长时间存在一些问题：
（1）用户仅有标识（比方：ssid）跳变的状况，进行试验时分，经过随机分配的 ssid，进行确定用户身份，可是用户能够在浏览器中修改 localstorage 中的 ssid，保持一个稳定的样本简直不或许，试验进行的越久，问题越严重。
（2）幸存者误差的状况，过度重视幸存者，忽略没有幸存的而形成过错定论。
（3）挑选误差的状况，因为 ssid 跳变，只要登陆的用户组成，不具备代表性。
6. 总结
7. 参阅
- www.cambridge.org/core/books/…
- stats.stackexchange.com/a/354377/32…
8 关于咱们
欢迎参加字节跳动数据渠道团队
咱们以赋能字节跳动各业务线，降低数据运用的门槛为始，以建立数据驱动的智能化企业，赋能各行业的数字化转型，创造更大的社会价值为终。当前咱们处在的阶段是，对内支撑了字节绝大多数业务线，已成为公司数据驱动的基石，每天有几万员工在运用咱们的数据能力和数据内容，对外发布了火山引擎品牌下的数据智能产品，服务了各行业的客户。
经过下方链接或二维码进行简历投递，参加咱们，让咱们一同做「数据驱动」的领军者！
北京/上海/深圳/杭州/南京/海外多地职位开放：job.toutiao.com/s/MvCf2cJ
