更多技能沟通、求职时机，欢迎重视字节跳动数据途径微信大众号，回复【1】进入官方沟通群

本文将从外部用户的视点介绍 A/B 测验途径的最佳实践。共享分为四部分，首要全体介绍 A/B 测验的运用场景，接下来结合字节内部和外部的一些运用来介绍各职业的最佳实践，终究共享在实践工作进程中，为了推进 A/B 测验，在一个企业中可继续的运用实践乃至是构成一些试验文明而得到的心得体会。

如下：

• A/B 测验的事务适用性

• 火山引擎 A/B 的内部运用

• 不同职业的最佳实践

• 可继续运用的试验文明

A/B 测验的事务适用性

首要来介绍一下 A/B 测验适用的场景，以及 A/B 途径长什么样子。

1. A/B 测验究竟能做什么？有哪些事务场景？

咱们能够从上图中的数字感受到在字节跳动 A/B 试验运用的广度和深度，而且这些数字还在继续快速上涨。A/B 试验在临床医学和生物制药范畴现已有几百年的运用前史，随着互联网的开展和各职业数字化的普及，更多事务搬到了线上，也具备了试验驱动的根底。

A/B 测验是快速迭代和做事务决议计划的一个根底功用，在功用上线前咱们都会先进行一些小流量的验证，对每一个新的主意、计划，咱们会先树立假定、运行 A/B 试验，结合事务逻辑对成果的剖析了解战略生效进程，然后不断批改计划、做创新测验，推进整个产品和事务的继续迭代。

接下来结合下图介绍一些详细的场景。

依据通用的海盗添加模型，刻画了一个企业在它用户的整个生命周期里，究竟进行了哪些日常工作。

从左到右，描绘了各个阶段的一些详细场景，从获取用户到引荐传达。上半部分首要表示了各个部分的各个人物所从事的详细事务活动。下半部分对应运用场景，能够做哪些 A/B 试验。

从运用的视点来讲，能够把这张图切成左右两块，左面是流量获取，右边是流量盘活。

1）流量获取：即获客。除了有付费拉新的办法，也有一些添加黑客的手段。首要面向的集体是市场营销部分和添加部分。咱们能够做一些详细的广告投进的试验、落地页试验、站点优化，以及数值战略的试验。

2）流量盘活：即提留促活。从激起活泼一直到传达引荐都归于流量盘活，分为两个阶段，第一个便是激活、提留到营收的阶段，这个阶段首要是从事一些用户体会、运用链路方面的优化、以及用户侧和商业化的产品功用优化，这部分的首要运用集体是产研部分，包含产品、研制、规划、数据剖析师，还有算法团队。产研力量的会集也导致了在这个场景下运用深度是最深的。

第二个便是引荐传达阶段，惯例的私域运营包含活动鼓励再营销、以及多样的用户裂变玩法，首要运用集体常常是运营团队、事务团队，由产研团队来协同支撑。整个流量盘活的部分往往是公司事务运营的中心，发明产品的中心价值。这部分的线上触点也愈加丰厚，比方 APP 服务端、客户端、小程序，因而可落地的试验类型也愈加丰厚。

产品优化是咱们首要在做的 A/B 试验场景，包含传统的功用、链路的体会优化，还有一些查找排序的试验、内容引荐的算法模型的试验，营销战略的试验和功用优化的试验，再比方一些常见的服务晋级迁移、技能框架晋级也能够做试验去观测方针防止负向影响。

关于不同事务办法的企业，海盗添加模型也能够演变成不同的变体，但内容上都是通用的。这张图也清楚明晰地说明晰试验的普适性：A/B 测验关于一个公司来说，基本上能够涵盖所有线上事务部分的常见工作和活动。因而，一套科学完善的 A/B 试验途径，加上配套的场景解决计划和流程机制，能够协助各个职业的相关从业者用科学的试验办法去衡量其收益，并更好地作出商业决议计划。

2、A/B 一般都做哪些试验？试验途径长什么样子？

一个规范化的试验途径需求五大中心模块：牢靠分流，科学核算，试验模板，智能调优和灰度发布。

下图展现了火山引擎 A/B 测验试验途径的架构：

A/B 体系除了要做数据回收核算外，还需求跟事务体系直接对接进行分流，因而全体架构能够分为上图中所示的五层。

中心的功用层，便是试验途径前台节目能够看到的产品功用，下面的数据层和上面的接入层都是以后台服务的办法存在的，对接客户体系或是内部事务体系首要便是经过数据层和接入层。会话层和运用层是对客户公司事务的接入终端和实践运用的模拟例举，火山引擎 A/B 测验是经过接入层的 SDK 跟事务终端进行对接的，一起完成分流服务接入和数据上班，然后完成了试验分流和方针核算。

产品后台的中心功用是试验管控，包含从试验规划到数据陈述、再到上线发布的一站式流程，支撑了十分丰厚的特型试验；咱们还供给了试验辅助东西和 Feature Flag 装备发布等功用，为了提高各职业运用才能，咱们也将在本年推出场景模板、智能优化以及敞开途径等额外功用。

下面介绍一下首要的功用。

（一）服务于多场景的试验模块

这六大类特型试验能够协助不同职能的用户以更低的门槛快速上手。

1）最通用的便是编程试验，首要服务于产研和算法团队，这种办法能够完成简直所有试验，比方服务端能够做一些产品迭代、算法优化、数据战略还有一些技能功用优化试验；客户端能够做一些界面功用、资料优化试验。

2）可视化试验和多链接试验的受众愈加倾向于添加部分和运营团队，优势是不需求开发介入就能够做一些站点优化、落地页优化、UI 优化，以及 web 站点重定向的试验等。

3）推送试验和流程画布试验首要适用于运营团队，这种类型的试验包含了常用的推送通道和任务管理才能，支撑装备不同的任务内容用于 A/B 测验，然后完成对丢失召回和个性化运营的内容资料、时刻频次进行优化。

4）广告试验，首要是服务于市场营销团队和添加团队，这种类型的试验包含了常见广告途径的投进管理才能，支撑装备不同的广告计划来测验和优化广告资料、落地页、投进人群、出价，然后提高广告投进的 ROI，还能够经过问卷数据比照的办法对品牌广告进行增效度量。

（二）科学的核算陈述

保障试验科学性的重要模块是核算陈述，咱们供给了 P-Value 和相信区间等核算信息来协助用户鉴别数据的牢靠性。一起还供给了一些高档核算功用来批改核算成果，比方多重比较批改、序贯查验等功用，能够进一步提高核算评估的准确度，协助用户在一些杂乱场景下更好地做判别。

（三）丰厚的剖析东西

只看 A/B 组的数据比照成果还不足以得到试验结论，咱们还需求进一步剖析试验的进程，寻找方针涨跌背面的原因。为此，DataTester 供给了丰厚的剖析东西，比方多维下钻剖析、转化漏斗剖析、留存和同期群剖析，还有常见的热力图等等，协助用户进一步拆解途径、人群、途径、点位进行数据深度下钻，知其所以然。

（四）FeatureFlag 灵活牢靠的装备发布

A/B 试验也是和研制流程紧密串联的，它和事务体系的服务端、客户端都有深度的对接。想要更大地提高进程中的功率、削减试验危险，还需求有配套的装备管理和发布东西。在 DataTester 中咱们为试验开发者们供给了 FeatureFlag，除了便于管理试验功用开关、快速全量之外，还能够进行日常的灰度发布、人群定向发布、一键回滚、反常监控，协助研制再安全的前提下快速提效。

终究咱们经过一个电商场景的比如介绍一下 A/B 测验途径是怎样在线上事务里发挥效果的

事务在现阶段的中心方针是提高 GMV。拆解到各事务方向后每个团队将会围绕着自己所负责的内容继续优化，例如提高 DAU、丰厚产品品类、提高客单价等等。上图中展现了从一个用户首次触达，再到它终究熟睡唤醒的一个留存曲线。每个关键拐点 A/B 试验都是能够发挥效果的。

首要，市场投进部分会经过广告去获取流量，广告资料便是触达用户的首个触点，咱们能够经过广告投进拆分比照试验来评估不同资料的转化效果，或不同投进战略的转化效果。若用户对广告感兴趣，就能够经过优惠券发放来接受流量进行激活，那么发多少金额、经过什么样的条件和战略发券全体 ROI 更高，就能够经过数值战略试验来验证。

当用户进场之后，只需他体会到了产品的中心价值，才会真正的活泼进一步产生购买，此时能够经过客户端和服务端编程试验来迭代产品功用体会，比方优化选购下单流程链路、优化运营 banner 资料。为了让用户停留更久需求让用户能够更快找到喜爱东西，咱们要供给更多个性化的服务，比方引荐算法，猜你喜爱，这时就会很多用到引荐算法试验，不断地优化模型效果。

关于一些现已低活的用户，能够添加降价提醒的功用和一些营销活动，并经过推送战略试验、H5 营销落地页试验来验证收益。关于现已熟睡的用户，运营同学还能够经过推送试验来优化推送时刻、推送内容进行召回。

以上介绍的都是惯例功用性的试验，除此以外，还有回转试验。还能够做一些特别规划的了解试验。

火山引擎 A/B 的内部运用

接下来经过一些实践事例来看一下 A/B 试验的运用。首要来看一下字节内部的运用。

第一个事例要共享的是产品团队在做新功用探究时如何用 A/B 试验来验证方向。这是弹幕形状首次在短视频中的测验，团队期望经过在熟人 Tab 中参与弹幕来强化熟人社交气氛，然后刺激用户多活泼多发视频，构成正向循环。

考虑到弹幕在小屏幕下将影响其他的互动按钮布局，因而规划了两个计划：一是将强化弹幕，把常用互动功用在底部折叠；二是既添加弹幕，又保留本来常用的互动功用。

试验后成果发现，第二种计划虽然有利于互动率的提高，但会折损中心内容消费、引发投稿率下降，乃至还导致了留存下降，因而终究决议计划为不上线。

但试验失利往往是团队经历的向前推进，经过继续的琢磨和探究，终究发现当用户浏览个人视频时弹出熟人互动内容会有更好的体会，找到了弹幕形状的最佳办法。

经过这个事例能够看到，A/B 试验既能够经过低危险试错的办法让团队敢于创新探究，又能够在协助咱们经过试验数据解读加深对用户的了解，然后迭代团队的认知、提高全体决议计划力。

第二个事例是一个规划团队极致优化的比如。经过这个比如能够看到，一个十分小的改动，也能够获得超出预期的大收益。

在长时刻的实战中，字节内部逐渐构成了试验理念和文明。

• 用相信成果说话，不自嗨；

• 不唯数据论，合了解读；

• 试验反哺事务，加深事务洞察。

咱们挑选 A/B 测验来辅助决议计划，首要有以下这四点原因：

1、它能够激起创新，协助咱们小步快跑、积少成多，然后拿到一些增量的收益。

2、A/B 测验是树立在一个科学的核算评估办法之上的，假如经过一套完整的试验评估途径在整个公司产品迭代和决议计划流程中大规划运用，就能够有效地降低决议计划危险并大幅提高人效。

3、继续的 A/B 测验能够让每个产品优化项及时获取数据反馈，随着试验经历的积累，团队的事务判别力也继续提高。

4、能够量化团队工作的收益，为管理赋能。

不同职业的最佳实践

接下来再来介绍一些不同职业的事例。

第一个事例是一个气候 APP，为了更好地平衡用户体会和商业化营收团队期望把原有的免费功用转为收费，但这可能带来一些负面影响，乃至导致用户丢失，因而决议事前先小流量测验一下：A 计划直接粗犷地添加蒙版和收费按钮，B 计划对前史数据免费并添加气候预测付费订阅的办法进行收费。

试验发现，计划 B 订阅率有 5 倍的提高，过于急进的办法不可取，但关于有价值的功用付费订阅也能够被用户接受。

第二个事例是租车场景中付出流程的优化。原计划中经过一步流程来完成买卖，但免押金的注册率和全体付出率并不高，经过试验发现，假如别离押金和租金的支撑流程、先付租金再付押金，免押金的注册率会明显变高，一起带动全体付出率 7%的提高。

数据证明这种有违惯例认知但符合用户付款心理的「一步变两步」反而带来了超乎预期的收益。

第三个是金融范畴的一个事例。泰生活 APP 在改版前的用户调研中收集到主页布局不行明晰的反馈，顺应集团品牌晋级的大布景进行了进行了一次较为急进的主页改版，但由于变化比较大，团队选用小流量 AB 试验对新老主页进行了一轮全体测验，以降低负面危险。

试验数据显现，全体功用可用性、页面功用均无明显负向影响，并收集到一些继续优化的规划细节，终究决议计划逐步灰度放量，A/B 测验协助用户顺利切换到了新版本并获得了更好的体会。

可继续运用的试验文明

终究，探讨一下如何可继续地运用 A/B 试验。先来看一下一个试验的完整的生命周期。

一个试验从规划到上线大约需求九步。终究五步都是能够经过一个 A/B 试验途径来进行一站式操作的。而前面四步，从发现问题、提出假定、规划试验，到功用开发，是十分重要的。只需完成了前面的几步，再有一个比较好用的试验测验东西，咱们就能够正常的运行试验了。

可是一个试验的成果和终究经过试验做的决议计划，还需求人的主观判别，人关于试验的不同解读会影响其结论，影响决议计划的质量。假如想要用好 A/B 试验，需求可继续运转的一套体系。除了好用的东西之外，机制还有文明都是缺一不可的。下图展现了一个 A/B 测验可继续开展的金三角。

这个金三角的左右两个角都是比较贴近咱们的实践工作和试验落地的。左面是试验机制，它的效果首要有两方面：一方面是项目机制，能够让参与试验的各人物高效协同，让试验快速运行实施；另一方面是决议计划机制，统一齐备的点评规范和决议计划逻辑是能够贯穿到事务的毛细血管里面的，能够对点评试验效果好坏、是否符合现阶段事务方针和开展准则进行机制层面的拉齐，然后确保每一次功用迭代都是依照正确的方向去演进。

右边是途径东西，好的途径东西的效果也是首要有两方面：一方面，能够确保试验的科学性、统一规范，它往往是由一个专业的团队进行研究，除了产研团队之外，还有数据团队或者核算科学的团队等等，这样就能够最大程度上确保试验的科学性和牢靠性；第二个效果便是经过东西化进一步降本提效。

在金三角上面的是企业文明，它也是会起到微妙的效果的，举个比如，假如公司鼓励尊重客观事实、用数据说话，鼓励创新和试错，那么就会更简单构成比较好的试验文明。

这里介绍一个字节试验文明的最佳代表，试验 Launch Review 流程。

Launch Review 的会议往往是自上而下推进的，也是复盘文明的一种表现，Review 进程确保了信息的充沛通明，不同事务团队能够彼此学习借鉴。一般事务专家或 leader 也会参与，在评审时供给一些全局视角和事务长时刻开展方向的信息，在数据驱动短期价值的一起权衡「寻求长时刻用户价值」。

终究是一些良好的试验习气和理念的共享：

第一点主张是清晰方针，重视逻辑。在试验规划阶段要愈加谨慎，客观剖析当前的事务问题，合理推导「选用什么样的解决计划」、「预计会达到什么样的方针」、「经过哪些方针来点评」，这个是十分重要的一个试验的习气。

第二点主张是试验计划有所聚集，不要把想到的计划一股脑全上来碰运气，试验需求敬畏用户，合理运用流量，不要由于有试错的时机而广撒网，要提前过滤计划、聚集测验方针。

第三点主张是把控危险，有所为有所不为。除了用户行为方针和事务方针外，在试验的进程中咱们还要重视用户口碑、品牌形象等舆情方针，比方用户社群的反馈、客户之声、NPS 或客户忠诚度等。

第四点便是迭代速度。咱们引荐将一个大的改动分解成更多的小动作，小步快跑地进行迭代和 A/B 测验。这样能够削减事务决议计划时的干扰因素、尽可能防止对用户体会的差异化影响。

第五点是推重深入事实，不唯数据论。在看到一个数据成果之后，一定要剖析背面的原因，这样才能从源头去解决问题，试验进程的事务沉淀往往比成果更有意义。

第六点是经过试验去鼓励探究新的方向，经过 A/B 测验能够协助一个团队打破自己部分最优解的限制，从想到到做到在进程中 A/B 测验都是能够保驾护航的，让你能够斗胆假定，小心求证。

终究共享一句字节内部的话：

以上便是本次共享的内容，欢迎咱们重视咱们，参与沟通。

Q&A

同期群剖析一般用来解决什么问题？

同期群剖析最常用的一个详细的场景便是看留存，它的一个特点便是把用户的进组时刻拉齐来剖析第二天留存的状况。咱们在做试验的进程中，假如试验周期是一个月，一些活泼的用户试验初期就会进组，可是一些不活泼的用户，他到试验后期才会进组，这样会使得咱们在数据剖析的时分产生非预期成果导致的差异。同期群剖析便是想把活泼的和不活泼的用户分层去看，把他们的进组时刻去拉齐，确保在同一基准上进行试验，这样九能得到较好的预期成果。

点击跳转 火山引擎A/B测验DataTester 了解更多