关键词：
导读：近几年AB实验的曝光度越来越高。AB实验并不是近几年才有的，从推荐系统诞生开始，AB实验就扮演着重要的角色。本文主要介绍AB实验的基本概念，包括AB实验和在线AB实验的定义以及AB实验的常见类型。
作者：刘玉凤
来源：大数据DT（ID：hzdashuju）
01 AB实验的定义
AB实验又称为受控实验（Controlled Experiment）或者对照实验。AB实验的概念来自生物医学的双盲测试，双盲测试中病人被随机分成两组，在不知情的情况下分别给予安慰剂和测试用药，经过一段时间的实验后，比较这两组病人的表现是否具有显著的差异，从而确定测试用药是否有效。
2000年，Google工程师将这一方法应用在互联网产品测试中，此后AB实验变得越来越重要，逐渐成为互联网产品运营迭代科学化、数据驱动增长的重要手段。
从国外的Apple、Airbnb、Amazon、Facebook、Google、LinkedIn、Microsoft、Uber等公司，到国内的百度、阿里、腾讯、滴滴、字节跳动、美团等公司，在各种终端（网站、PC应用程序、移动应用程序、电子邮件等）上运行着大量的AB实验。
这些公司每年进行数千到数万次实验，涉及上亿的用户，测试内容涵盖了绝大多数产品特征的优化，包括用户体验（颜色、字体和交互等）、算法优化（搜索、广告、个性化、推荐等）、产品性能（响应速度、吞吐量、稳定性、延迟）、内容（商品、资讯、服务）生态管理系统、商业化收入等。
因为AB实验被引入互联网公司后，应用场景主要是大规模的在线测试，所以也被称作在线AB实验或者在线对照实验（Online Controlled Experiment，OCE）。
常见的在线AB实验中，用户被随机、均匀地分为不同的组，同一组内的用户在实验期间使用相同的策略，不同组的用户使用相同或不同的策略。
同时，日志系统根据实验系统为用户打标记，用于记录用户的行为，然后数据计算系统根据带有实验标记的日志计算用户的各种实验数据指标。实验者通过这些指标去理解和分析不同的策略对用户起了什么样的作用，是否符合实验预先的假设。如图1-1所示，图中流程概括了AB实验的经典模式。
▲图1-1 AB实验流程
将图1-1所示的流程应用到产品迭代中，就是将具有不同功能、不同策略的产品版本，在同一时间，分别让两个或多个用户组访问。这些参与实验的用户组是从总体用户中随机抽样出来的，一般只占总体用户的一小部分，而且不同组用户的属性、构成成分是相同或相似的。
先通过日志系统、业务系统收集各组用户的行为数据和业务数据，然后基于这些数据指标分析、评估出相比之下更好的产品版本，最后推广到全部用户。
以图1-2为例，我们试图通过AB实验找出哪个颜色的横幅位点击率更高：A组保持浅色横幅不变，B组采用深色的横幅，分析哪个颜色更能引起用户的关注，提升用户的点击率。如果通过实验发现深色横幅的点击率更高，就将深色横幅位推广到全部用户。
当然，在实际应用中，AB实验的效果评估一般没有这么简单，比如除了点击率之外，还需要综合考虑其他的指标。
▲图1-2 AB实验测试哪个颜色横幅位点击率更高
02 AB实验的类型
从不同分类视角来看，AB实验有着不同的类型。
从实验实施的产品形态来看，AB实验可以分为App类型、PC类型、网页页面类型等。
从实验代码运行的机制来看，AB实验可以分为前端页面类型、后端服务类型等。
从实验分流的对象来看，AB实验可以分为用户类型、会话类型、页面类型、元素类型等。
从实验服务调用的方式来看，AB实验可以分为SDK类型、接口服务类型等。
从实验内容来看，AB实验可以分为交互类、算法类、内容类、工程性能类等。
这些是AB实验常见的分类方式。当然，AB实验的分类不局限于以上分类，可以根据实际情况，采用不同的分类方式。不管何种类型的AB实验，都应符合分流→实验→数据分析→决策的基本流程。
本文摘编自《AB实验：科学归因与增长的利器》（ISBN：978-7-111-70713-4），经出版方授权发布。
《AB实验：科学归因与增长的利器》
点击上图了解及购买
转载请联系微信：DoctorData
推荐语：BAT资深数据科学家10余年AB实验工程经验总结，系统阐释AB实验原理、方法和增长实践，融合全球优秀企业经验。
关于作者：刘玉凤，毕业于清华大学，获机器学习和数据挖掘专业硕士学位，某互联网大厂高级数据专家和数据科学家，有多年策略产品和数据产品经验。曾负责该厂AB实验平台的搭建和运营，在AB实验领域积累了丰富的经验。专注数据领域，实践过丰富的业务类型，包括智能硬件、O2O、信息流、出行服务等，在多个业务中担任过数据负责人，不但拥有丰富的2C数据驱动增长的成功经验，还拥有多个2B数据赋能业务的落地经验。
刷刷视频👇
干货直达👇
更多精彩👇
在公众号对话框输入以下关键词
查看更多优质内容！
读书 | 书单 | 干货 | 讲明白 | 神操作 | 手把手
大数据 | 云计算 | 数据库 | Python | 爬虫 | 可视化
AI | 人工智能 | 机器学习 | 深度学习 | NLP
5G | 中台 | 用户画像 | 数学 | 算法 | 数字孪生
据统计，99%的大咖都关注了这个公众号
👇
什么是ab实验？能解决什么问题？终于有人讲明白了
导读：走向身边的AB实验。作者：木羊同学来源：大数据DT（ID：hzdashuju）“AB实验”是一个从统计学中借来的工具。我和大家一样，每次只要看到“统计学”这三个字，下意识就觉得这事和我没啥关... 查看详情
终于有人把iaaspaassaas讲明白了
...多应用场景，给出了具体解决方案。干货直达👇终于有人把分布式机器学习讲明白了聊聊这个SaaS领域爆火的话题终于有人把AB实验讲明白了图解3种主流企业架构模式（建议收藏！）更多精彩👇在公众号对... 查看详情
终于有人把iaaspaassaas讲明白了
...多应用场景，给出了具体解决方案。干货直达👇终于有人把分布式机器学习讲明白了聊聊这个SaaS领域爆火的话题终于有人把AB实验讲明白了图解3种主流企业架构模式（建议收藏！）更多精彩👇在公众号对... 查看详情
终于有人把红蓝对抗讲明白了
导读：什么是红蓝对抗？作者：木羊同学来源：大数据DT（ID：hzdashuju）我们现在所处的时代，有人称为网络时代，有人称为信息时代，也有人称为数据时代，不管名字怎么叫吧，我... 查看详情
终于有人把红蓝对抗讲明白了
导读：什么是红蓝对抗？作者：木羊同学来源：大数据DT（ID：hzdashuju）我们现在所处的时代，有人称为网络时代，有人称为信息时代，也有人称为数据时代，不管名字怎么叫吧，我... 查看详情
终于有人把线性回归讲明白了
导读：本文将介绍什么是回归问题、解决回归问题的基本思路步骤和用机器学习模型解决回归问题的基本原理，以及如何用线性模型解决回归问题。作者：莫凡来源：大数据DT（ID：hzdashuju）00线性回归&... 查看详情
终于有人把数据治理讲明白了
导读：数据治理：说起来容易，做起来难。作者：石秀峰来源：谈数据（ID：learning-bigdata）“数据治理”这个10多年前就已经出现的名称，在最近这几年时间一下子火了起来。不知何时，江... 查看详情
终于有人把devops讲明白了
导读：DevOps中的Dev指的是Development（开发），Ops指的是Operations（运维），用一句话来说，DevOps就是打通开发运维的壁垒，实现开发运维一体化。作者：魏新宇郭跃军来源：大数据DT（I... 查看详情
终于有人把数据仓库讲明白了
作者：彭锋宋文欣孙浩峰来源：大数据DT（ID：hzdashuju）数据仓库是一个面向主题的、集成的、随时间变化但信息本身相对稳定的数据集合，用于支持管理决策过程。数据仓库的主要功能如下：建立公司... 查看详情
大数据技术终于有人把数据质量管理讲明白了！数据质量：数据治理的核心
目录背景何为数据？数据治理数据质量管理数据质量控制方法论 查看详情
终于有人把排序算法讲明白了
导读：在大数据时代，对复杂数据结构中的各数据项进行有效的排序和查找的能力非常重要，因为很多现代算法都需要用到它。在为数据恰当选择排序和查找策略时，需要根据数据的规模和类型进行判断。尽管不... 查看详情
终于有人把企业架构讲明白了
作者：付晓岩来源：大数据DT（ID：hzdashuju）01企业架构的概念与范围企业架构设计的服务对象是企业，所以，“企业”是企业架构理论需要首先明确的概念，对于这一概念，笔者比较赞同TOGAF理... 查看详情
终于有人把知识图谱讲明白了
“如果你不知道人工智能是什么？那你应该没有健康码，没有进行人脸识别，天天窝在家里，哪也去不了。”在电影宇宙里，人工智能发展到达了一个又一个巅峰，“智械危机”、“天网”、“终结者”&#x... 查看详情
终于有人把iaaspaassaas讲明白了
导读：各有哪些有点？作者：王健宗何安珣李泽远内容摘编自《金融智能：AI如何为银行、保险、证券业赋能》视频制作：大数据DT（ID：hzdashuju）关注数据叔视频号，看更多干货视频👇延伸... 查看详情
终于有人把微服务讲明白了
作者：魏新宇郭跃军来源：大数据DT（ID：hzdashuju）01微服务架构简介微服务这个概念并不是近年才有的，但这两年随着以容器为核心的新一代应用承载平台的崛起，微服务焕发了新的生命力。传统的巨... 查看详情
终于有人把计算机视觉讲明白了。。。
机器学习是目前比较热门的技术，包含深度学习、强化学习、对抗学习、对偶学习、迁移学习、分布式学习、以及元学习等内容。得益于大数据、大模型、大计算的发展，深度学习在计算机视觉、语音处理、自然语言方... 查看详情
终于有人把云原生架构讲明白了
今天，每个IT资源或产品都作为服务提供。因此，云原生软件开发成为每个企业的关键要求，无论其规模和性质如何。在加入云计算潮流之前，了解什么是云原生架构以及如何为您的云原生应用程序需求设计正确的架构非常重要... 查看详情
终于有人把云计算讲明白了
导读：对于云计算的阐述，我们将从云计算概念、原理、分类、特点和应用这5个方面展开。作者：王健宗何安珣李泽远来源：大数据DT（ID：hzdashuju）01云计算概念云计算是分布式计算技术的一种，... 查看详情