美国留学

小编简介：AB测试技术最早应用于美国的互联网市场，进入国内市场只用了6、7年的时间。 2000年前后，以谷歌为首的互联网公司开始采用AB测试方法，利用数据帮助企业进行决策管理，降低试错成本，促进业务增长。 2010年后，AB测试开始呈现产品化趋势，成为企业决策的重要工具。

今天给大家分享一下AB测试的基础知识。

1.什么是AB测试？互联网行业日新月异，很多产品每周甚至每天都会迭代。无论是产品优化方向还是决策，都需要数据说话。

目前大多数产品迭代方式都是直接向所有用户发布某个版本。一旦遇到线上bug或者数据性能不佳，就必须紧急修复或优化功能，有时甚至需要回滚到之前的版本。

这对用户体验和项目进度都有很大的影响。如何解决这个问题呢？

AB测试可以很好的避免这个问题。所谓AB测试，就是在正式发布之前将用户流量分成几组，让用户分别看到不同的程序设计，并根据几组用户的真实数据反馈来验证数据效果。

如果新版本数据没有问题，可以考虑向所有用户发布新版本，这样可以有效降低所有在线用户发生意外的概率，提高用户体验。简单理解，其实就是初中的对照实验。一组是对照组，另一组是实验组。

哪些场景更适合AB测试？

2、AB测试的应用场景AB测试通常用于以下场景：

1.UI优化这是一个比较常见的场景。

与功能设计不同的是，它有很多逻辑思想，往往可以确定哪个解决方案是好的，哪个解决方案是坏的。 UI优化往往非常“艺术”。在看到真实的数据之前，往往任何人都很难解释哪种设计能够带来更好的数据效果。如下所示：

上图显示了颜色变化。这种情况下，通过AB测试来完成最终的解决方案是比较合适的。

2、文案改动其实和UI层面的优化非常相似。 [立即申请] 或[立即申请] 是同一个按钮吗？

如何决策，就交给AB测试吧~

3、页面布局页面布局主要是指同一页面上不同元素的排列方式。

4.算法优化算法优化也应该是AB测试的一个重要场景。

上线之前的算法基本上都是根据历史数据来训练和构建的。本地模型再好，上线后也未必表现良好。只有在线才是检验算法有效性的决定性标准。

但上线后的效果谁也不敢保证吧？这时候，做一些小流量的AB测试是一个非常好的、万能的选择。

3. 流量分配还讨论了AB 测试的基本概念。最重要的概念之一是用户流量分组。实际实现时，允许用户按照一定的规则随机访问某个版本。那么流量应该如何分配呢？

关于流量分配，主要有两点：同层互斥分配和分层流量正交。

1.同层的互斥分配。每层拥有所有流量。在同一层中，多个实验共享100%的流量，实验之间的流量互斥。例如，在同一层中，测试1占用了40%的流量，测试2最多只能使用60%的流量，以此类推。

有如下示意图：

同时运行多个实验时，如果希望测试结果尽可能准确，并保证实验互不干扰，建议将实验建立在同一层，且同一用户这一层只输入一个实验。

2.分层流量的正交分层意味着重用用户流量。如果测试1 和测试2 使用不同的层，则测试1 和测试2 都可以分配最多100% 的流量。在这种情况下，同一用户将同时进入试验1 和试验2。

当两次测试处于不同级别时，需要保证测试内容互不相关，否则测试数据会受到干扰。

当前平台中的每个实验都是一个独立的实验层。当一段流量经过每一层实验时，会被随机打散重组，保证每一层的流量相同。

例如：假设我现在有两个实验。实验A（实验组标记为版本A1，对照组标记为版本A2）分布在实验层1，占用该层流量的100%；实验B（实验组标记为版本A2）为B1，对照组标记为B2）分布在实验层2，也使用了该层100%的流量（需要注意的是，实验组Layer 1和实验Layer 2实际上是同一批用户，实验Layer 2只是复用了实验Layer 1流量）。

如果将A1组的流量分成两半，一部分放入B1组，另一部分放入B2组； A2组的流量也被分成两半，一部分放入B1组，另一部分放入B2组。那么两个实验的流量调用就会如下图所示。此时，实验A和实验B之间的流量是“正交”的。

关于AB测试，今天先分享这些。下一篇文章将分享业界对AB测试系统的调查，看看各大厂商如何将AB测试商业化。

本文最初由@冬至发表在《人人都是产品经理》上。未经作者许可禁止转载。

题图来自Unsplash，基于CC0许可证。