A/B试验的核心核算学理论是（双样本）假定查验，是用来判别样本与样本、样本与整体的差异是由 抽样误差 引起仍是 本质不同 形成的一种核算推断方法。
假定查验，顾名思义，是一种对自己做出的假定进行数据验证的进程。浅显地说，假定查验是一门 做出回绝 的理论，查验成果有两种：回绝原假定(reject H0)，无法回绝原假定(fail to reject H0)。试验者往往将片面不希望看到的成果（新策略没有作用）置于 原假定 （从英文命名就能够看出来感情颜色 – 它叫null hypothesis），而将原假定的互斥事情，即对实践自身有利的成果（新策略有提高）置于 备则假定 （alternative hypothesis），如此构成的假定查验目的在于用现有的数据通过一系列理论演绎 回绝原假定 ，到达证明备择假定是正确的，即某项改进有用的目的，所以这一套方法也被称作 *null hypothesis significance testing (NHST) *。
因为咱们永久只能抽取流量做 小样本 试验，所以每个假定查验都面临着 随机抽样误差 ，因而在做出推论的进程中，一切都围绕 概率 展开。这意味着没有任何一个根据假定查验的演绎进程能够对成果100%确定。但所幸，核算理论能够告知咱们在每一步中犯错的时机。因而，事先知晓咱们 或许犯什么错 ，以及 有多大时机犯错 就成了规划和解读假定查验的关键所在。
试验者在假定查验的进程中或许会做出 两类过错判别 – 不意外地 – 它们被命名为 第一类过错 （弃真）和 第二类过错 （取伪）。 第一类过错(Type I Error)：H0为真，回绝H0。“自身没提高，但误判为有提高” 第二类过错(Type II Error)：H1为真，承受H0。“自身有提高，但没有察觉提高”
对比上图，第一类过错指的是原假定正确可是咱们做出了回绝原假定的结论，这个过错在实践中常常表现为“我作出了核算明显的结论可是我的改动实践上没用”；相应地，第二类过错指的是原假定过错可是咱们没能回绝原假定，这个过错在实践中常常表现为“我的改动有用，但试验没能检测出来”。
在AB试验的场景下，假如对某一个新feature是否有用进行假定查验，H0为新feature没有作用，第一类过错指的是“新feature实践无效但检测出存在明显性作用”，第二类过错则指的是“新feature实践有用但未能检测出作用”。假如犯了第一类过错，会导致新feature的过错上线，或许会带来实践利益丢失，假如犯了第二类过错，实践有用的feature将不会上线，带来的是潜在利益的丢失。两相比较，应该更严格地控制第一类过错产生的概率。
定性知晓咱们或许犯什么错今后，咱们依然需要定量地分析有多大时机犯错。在频率核算学中 ，明显性水平（） 以及 （1 – 查验效力 power）（beta） 分别描述了试验者犯第一类过错和第二类过错的概率。这两个核算指标结合在一起比较完整地刻画一个假定查验的整体根本功用，也是进行一个假定查验所需核算指标的最小集。应该说，缺少任何一个，咱们都没有足够的信息作出科学的推论，乃至或许过错影响产品的走向。
适用范围 能够对 单个整体参数(H0:=c) 或许 两个整体参数(H0: 1= 2) 进行查验，假定的内容能够是双侧查验 如参数是否等于某个值(H0:=c)，也能够为单侧查验如 参数是否大于或小于某个值(H0:><c)。在AB试验的背景下，咱们通常进行的查验是 两整体双侧查验。
查验过程
- 提出假定：H0: 1= 2v.s. H1: 1!= 2
- 结构核算量
- 核算核算量、查验阈值、置信区间及p值
- 得出结论：若p<0.05或核算量绝对值>阈值或置信区间包括0，则回绝原假定；若p>0.05或核算量绝对值<=阈值或置信区间不包括0，则无法回绝原假定。
Note：有些其他的核算公式会假定两组的整体方差持平，在方差的核算方式上有区别，这类公式不引荐，因为该假定在AB试验应用中并不常见。
p-value P值就是当原假定为真是所得到的样本观察成果或更极端成果呈现的概率。假如P值很小，说明这种状况产生的概率很小，但假如呈现了，依据小概率原理，咱们就有理由回绝原假定。P值越小，说明试验发现的差异是因为抽样误差导致的概率越小，极大程度上仍是因为本质上存在差异形成，咱们回绝原假定的理由越充分。
注： 两样本均值差的 置信区间 包括0 等价于 P值 大于0.05 ,此时承受 原假定 。 思想上 与区间估量的原理中提到的“对称”有相通之处。 两样本均值差的置信区间包括0 等价于 均值差与0的间隔小于1.96倍标准差 等价于 核算量的绝对值小于1.96 等价于 P值大于0.05
DataTester是火山引擎数智平台旗下产品，能根据先进的底层算法，供给科学分流才能和智能的核算引擎，支撑多种复杂的A/B试验类型。DataTester 深度耦合引荐、广告、搜索、UI、产品功用等多种事务场景需求，为事务增长、转化、产品迭代、策略优化、运营提效等各个环节供给科学的决策依据，让事务真正做到数据驱动。
DataTester经过抖音、今天头条等字节事务多年验证，到2022年8月，已在字节跳动内部累计完成150万次A/B试验。此外也已经服务了美的、得到、凯叔讲故事等在内多家标杆客户，将老练的“数据驱动增长”经历赋能给各行业。
火山引擎DataTester官网：www.volcengine.com/product/dat…
当即跳转 A/B测试 DataTester 了解详情！
