新書推薦:
《
汉语副词研究论集(第六辑)
》
售價:HK$
107.8
《
干戈之影:商代的战争观念、武装者与武器装备
》
售價:HK$
74.8
《
镶嵌之美:古希腊罗马的马赛克艺术
》
售價:HK$
305.8
《
后希腊化哲学:从斯多亚学派到奥利金的发展研究
》
售價:HK$
76.8
《
别纠结啦:不被情绪牵着走的通透生活指南(“当代一休”小池龙之介治愈新作!附赠精美书签!)
》
售價:HK$
64.9
《
第二人生:找到重新定义人生的智慧
》
售價:HK$
96.8
《
唐朝三百年
》
售價:HK$
107.8
《
反操纵心理学:夺回人生主导权 拒绝被操纵
》
售價:HK$
54.8
|
編輯推薦: |
(1)作者背景深厚:作者在某BAT大厂从事策略产品、数据产品、AB实验等数据科学相关工作10余年。(2)作者经验丰富:作者负责了某BAT大厂AB实验平台的搭建、大量AB实验产品的设计与分析,同时分析了国内外知名企业的优秀AB实验实践。(3)全面系统、主次分明:本书涵盖AB实验理论、实践的方方面面,重点放在对AB实验关键环节的深入理解、关键问题的解决方案上,力争把关键问题剖析到位,而不是面面俱到地泛泛而谈。(4)案例丰富、算例清晰:重要知识点都配有翔实的行业案例,帮助读者通过应用场景理解AB实验;以深入浅出的方式阐述了AB实验涉及的复杂数理知识。(5)全球视野、与时具进:不仅总结了国内外优秀企业的AB实验案例,而且将全球AB实验领域先进的研究成果和案例融入了书中。
|
內容簡介: |
内容简介本书是AB实验领域的标准化著作,它将带领你快速理解AB实验原理、掌握AB实验方法、搭建AB实验平台、塑造基于数据和实验的企业文化,高效开展AB实验、实现用AB实验驱动增长。作者是某BAT大厂的数据科学家,在数据产品、AB实验等数据科学领域有10余年经验,亲自主导了该厂AB实验平台的搭建和AB实验产品的设计与分析,积累了丰富的经验。学习本书,你将收获以下知识和技能:?AB实验的基础知识、关键问题及其挑战;?AB实验的统计学知识、参与单元、随机分流;?AB实验的SRM问题、灵敏度、长期影响;?AB实验的产品指标体系、评估指标体系;?AB实验的平台建设、组织和文化建设;?AB实验的增长实践和解决方案;?AB实验的难点和局限性;?因果分析方法和用户调查分析方法本书内容具有以下3个特点:(1)全面系统、主次分明:如上所述,本书涵盖AB实验理论、实践的方方面面,重点放在对AB实验关键环节的深入理解、关键问题的解决方案上,力争把关键问题剖析到位,而不是面面俱到地泛泛而谈;(2)案例丰富、算例清晰:重要知识点都配有翔实的行业案例,帮助读者通过应用场景理解AB实验;以深入浅出的方式阐述了AB实验涉及的复杂数理知识;(3)全球视野、与时具进:不仅总结了国内外优秀企业的AB实验案例,而且将全球AB实验领域先进的研究成果和案例融入了书中。通过本书的深入学习,你将成为为一个实验领域的专家,完全可以处理常规的AB实验中的大部分问题,帮助你更好地迭代产品,实现产品的优化和业务的增长。
|
目錄:
|
前言第一部分 了解AB实验第1章 AB实验的基本原理和应用0021.1 什么是AB实验0021.1.1 AB实验的定义0021.1.2 AB实验的类型0041.2 AB实验的3个基本要素0051.2.1 实验参与单元0051.2.2 实验控制参数0071.2.3 实验指标0081.3 AB实验的2个核心价值0091.3.1 定性因果:验证因果关系,确保方向正确0091.3.2 定量增长:实践数据驱动,精细成本收益0121.4 AB实验的2个关键特性0151.5 AB实验行业应用0161.5.1 AB实验应用场景0161.5.2 AB实验应用案例018第二部分 深入AB实验第2章 AB实验的关键问题0262.1 实验参与对象的3个问题0272.2 实验随机分流的3个问题0272.3 实验指标的2个问题0282.4 实验分析和评估的3个问题028第3章 AB实验的统计学知识0313.1 随机抽样和抽样分布0323.2 区间估计和置信区间0373.3 样本容量和边际误差0383.3.1 均值类指标0383.3.2 比率类指标0403.4 假设检验0413.4.1 为什么需要假设检验0413.4.2 如何进行假设检验0423.4.3 第一类错误、第二类错误和功效0473.4.4 如何计算功效0493.5 非参数检验0513.6 方差估计问题0523.6.1 变化绝对差和相对差的方差估计0533.6.2 比率类指标的方差估计0543.6.3 其他指标的方差估计0553.6.4 异常点对方差估计的影响0553.7 多重测试问题0563.7.1 什么是多重测试问题0563.7.2 如何避免多重测试0563.7.3 如何控制多重测试问题058第4章 AB实验参与单元0614.1 实验参与单元的选择0614.1.1 常见的实验参与单元0624.1.2 实验参与单元粒度与实验评估0664.1.3 用户级别的实验参与单元0674.2 实验参与单元的SUTVA问题0704.2.1 什么是SUTVA0704.2.2 为什么需要让SUTVA成立0714.2.3 导致SUTVA不成立的原因0734.2.4 如何解决SUTVA不成立的问题0754.3 最小实验参与单元数量079第5章 AB实验的随机分流0835.1 单层分流模式0835.2 正交分层模式0845.2.1 正交性问题0855.2.2 分层问题0875.3 散列算法089第6章 AB实验的SRM问题0926.1 什么是SRM问题0926.2 导致SRM问题的原因0936.2.1 部署阶段0936.2.2 执行阶段0976.2.3 数据处理和分析阶段0986.3 SRM指标计算和定位0996.3.1 SRM指标计算0996.3.2 定位SRM问题099第7章 AA实验1017.1 AA实验的意义1017.1.1 控制第一类错误1027.1.2 确保用户同质1047.1.3 数据指标对齐1057.1.4 估计统计方差1067.2 如何运行AA实验1087.2.1 什么时候运行AA实验1087.2.2 AA实验失败的常见原因110第8章 AB实验的灵敏度1128.1 什么是实验灵敏度1128.2 如何提升实验灵敏度1138.3 选择指标1148.3.1 选择方差较小的评估指标1148.3.2 标准化评估指标1158.4 选择实验参与对象1168.4.1 采用更细粒度的单元随机化对象1168.4.2 使用触发分析1168.5 选择实验分组1178.5.1 使用分层、控制变量或CUPED方法1178.5.2 设计配对实验1198.6 定向触发技术和评估1198.6.1 触发的方式1208.6.2 触发范围变化1218.6.3 触发实验的分析1238.6.4 触发检验1258.6.5 触发技术的局限性1258.7 如何验证实验灵敏度的提升127第9章 AB实验的长期影响1299.1 长短期影响不一致的原因1309.2 评估长期影响的意义1339.3 如何评估长期影响1349.3.1 长周期实验1349.3.2 保留实验和反转实验1369.3.3 后期分析法1379.3.4 时间交错实验法1399.3.5 固定群组分析法1409.3.6 长期影响的代理指标法141第三部分 AB实验评估指标体系第10章 产品指标体系14510.1 什么是指标体系14510.2 设计指标14610.2.1 基于OKR的分级法14710.2.2 OSM模型法15310.2.3 指标设计和开发技巧15410.3 评估指标15610.3.1 信息增益15610.3.2 因果关系15810.3.3 长期有效性15810.4 进化指标15910.5 指标分类16210.6 指标体系设计案例165第11章 实验评估指标体系16911.1 实验评估指标的3个基本条件16911.2 选择更好的实验评估指标17011.2.1 综合指向性与灵敏性17011.2.2 从业务视角出发17211.2.3 考虑应用和工程17411.3 将关键指标合并为OEC17511.3.1 如何建立OEC17611.3.2 OEC的关键属性17911.3.3 构建OEC的注意事项17911.3.4 构建OEC的案例180第四部分 AB实验的基础建设第12章 开展AB实验的基础条件18712.1 决策层认知18712.2 基础工具建设18812.2.1 购买外部服务18912.2.2 自建平台19012.3 文化制度建设191第13章 AB实验平台的建设19213.1 AB实验平台架构19313.2 实验管理功能19413.2.1 实验创建管理19513.2.2 实验配置管理19613.2.3 实验操作管理19713.2.4 实验权限管理19813.3 实验部署功能19913.3.1 流量分配大小20013.3.2 流量分配时机20213.3.3 实验放量节奏20313.3.4 不同类型实验的部署20513.3.5 实验部署中的其他问题20913.4 实验数据处理和分析21113.4.1 数据源21213.4.2 数据处理21413.4.3 指标定义和数据计算21513.4.4 数据可视化21913.4.5 数据分析22113.5 AB实验服务通用框架221第14章 实验组织和文化建设22414.1 决策层的支持与参与22614.2 实验专家团队的带领与教育22814.3 业务团队实验骨干的深入与传递22914.4 全体参与和扩大影响23114.5 国内AB实验的开展情况23314.6 实验成熟度模型236第五部分 基于AB实验的增长实践第15章 构建想法:形成产品假设24015.1 产品策划找方向24015.2 数据洞察找瓶颈245第16章 验证想法:AB实验实践25216.1 实验假设25216.1.1 目标性25216.1.2 可归因25316.1.3 可复用25416.2 实验设计25516.2.1 实验样本选择25516.2.2 实验指标设计25716.2.3 实验流量计算25816.2.4 实验周期预估26016.3 实验运行26116.3.1 实验上线26116.3.2 实验停止26316.3.3 实验放量26516.4 实验分析和理解26616.4.1 明确实验影响范围26616.4.2 确保实验对比人群具有可对比性27016.4.3 实验影响评估:先总后分、从主到次27216.4.4 通过维度细分发现问题27316.4.5 理解实验统计学含义27516.4.6 解读数据背后的产品逻辑27716.5 实验决策27816.5.1 从分析到决策27816.5.2 3种实验结果28216.5.3 实验报告284第17章 沉淀想法:实验记忆28517.1 什么是实验沉淀28517.2 实验沉淀的价值28617.2.1 发现策略通用性28617.2.2 从失败中寻找机会28917.2.3 发扬实验文化29017.2.4 帮助理解指标29017.3 如何进行实验沉淀291第18章 基于AB实验的增长实践解决方案29318.1 角色分工方案29518.2 数据建设方案29518.3 效果评估方案297第六部分 AB实验的局限与补充第19章 AB实验的局限性30319.1 战略创新层面30319.2 战术执行层面305第20章 AB实验之外的因果分析方法30920.1 匹配法31020.1.1 匹配法的基本步骤31020.1.2 倾向性得分方法31320.2 工具变量法31420.2.1 什么是工具变量31420.2.2 案例1:教育、参军对收入的影响31620.2.3 案例2:内容发布者与用户活跃度的关系31720.3 面板数据法31720.4 中断时间序列法31920.5 断点回归法32020.6 增益模型322第21章 常用的用户调查分析方法32521.1 用户日志分析32621.2 调查问卷32821.3 焦点小组32921.4 用户体验研究33021.5 人工评测33021.6 外部数据332
|
內容試閱:
|
为什么要写这本书AB实验作为利用数据驱动增长的重要手段,可以在推断因果效应的同时量化策略效果,在产品创新、优化和改进中发挥着越来越重要的作用。AB实验是一项复杂的系统工程。如果没有坚实的理论基础、强大的平台能力、丰富的实践经验作为支撑,那么很容易得出错误的AB实验结论,进而让组织做出错误的决策,错失发展机会。从我的亲身经历和对大量企业的调研了解来看,当前有相当多的从业者,甚至大型互联网企业的技术人员,对AB实验的理解还处于比较粗浅的阶段,甚至存在很多误解。许多企业的AB实验实践停留在初级阶段,对于如何高效开展AB实验、构建基于数据和实验的企业文化,还没有形成成熟的方法论,导致实验过程反复和低效。同时,在市面上,系统阐述AB实验原理、平台建设、实践、文化建设等方面的图书非常少,大量希望学习AB实验的读者找不到有效的渠道来获得专业知识。我曾参与过多种类型业务场景下AB实验的设计与分析,也负责过大型AB实验平台的建设。通过学习国内外公司先进的经验,并在实践中不断尝试,我积累了丰富的AB实验经验。本着分享、交流、学习的心态和初衷,我撰写了本书。AB实验是一个系统性的工程,涉及的知识非常广泛。本书以AB实验相关的知识为重点,扩展了与AB实验紧密相关的内容,比如指标体系建设、AB实验之外的因果分析方法、用户调查方法等。希望本书能对广大正在践行AB实验的读者有所启发,加深行业对于AB实验的理解,提升AB实验实践的科学性,促进AB实验文化的发展。希望读者能借助AB实验这个有力的工具,成功实现产品增长。读者对象本书适合所有对AB实验有需求的企业管理者、相关从业者,以及对于数据驱动增长、数据科学等领域感兴趣的读者。目前大部分AB实验集中在互联网行业,因为其天生具有进行在线AB实验的优势和强烈需求。我们以典型的互联网公司中主要角色的视角来看本书对不同的角色的主要价值。企业管理者和决策者:对于企业管理者来说,如果企业当前还没有AB实验,他们需要确定企业当前阶段是否需要引入AB实验,以及以什么样的方式引入(自建或采购)。因为涉及企业当前的财务、人力状况以及产品未来的规划,所以只能由他们做出决策。对于已经在进行AB实验的企业,管理者和决策者需要了解AB实验的原理以及AB实验是如何运行、如何分析的,充分了解后他们在阅读AB实验报告的时候才不会被数据戏法所欺骗。本书介绍的很多案例中,针对同一个实验,实验报告如果采用不同的口径或者指标,得出的结果是完全不一样的,决策者必须学会自己看数据和实验报告。产品经理和运营人员:对于有增长需求且适合进行AB实验的产品来说,产品经理和运营人员就是AB实验的主要发起者。他们需要对自己策划的产品功能、策略、运营活动、方案进行测试,以保证产品的优化和迭代按照组织期望的方向进行。只有具备了系统的AB实验知识,才能设计出合理的AB实验方案,并能够准确判断实验是否正常运行,实验收集数据是否可用且满足实验评估的要求。如果没有扎实的实验知识,得出的实验结果很难保证是科学的、可信的。数据分析师、数据科学家等数据工作者:AB实验分析是数据分析中一个非常重要的方向,很多公司AB实验的结果是由数据分析师统一输出的,以保证客观性和准确性。在互联网领域,数据分析工作中AB实验分析的比重甚至可能超过30%。不懂AB实验分析的数据分析师在就业竞争中会处于明显的劣势。对于数据科学方向的从业人员来说,有两个区别于传统数据分析的关键点,一个是模型构建能力,另一个就是实验设计和解析能力。在许多大型公司中,数据科学部门肩负着构建实验团队和实验平台以及进行实验评估和实验文化推进的任务。可以说掌握AB实验相关的知识是数据科学家必备的。前后端、算法等技术开发人员:AB实验的实现涉及整个产品研发链的很多环节,比如前端涉及UI和交互逻辑的下发,后端涉及分流逻辑、触发时机的实现,算法研发更是要频繁使用实验平台进行AB实验。如果这些技术实现者系统地掌握了AB实验的相关知识,那么他们不仅能更好地设计和规划技术架构,而且在代码出现问题的时候,也能通过原理的分析快速定位和修复问题。同时,开发人员也可以用AB实验来测试不同的架构、代码方案的性能等。本书特色本书有以下几个主要特色。内容全面系统、主次分明。本书以AB实验为中心,包含AB实验方方面面的知识,不仅有AB实验相关的理论基础知识、平台建设、文化建设,还涵盖指标体系建设、增长实践、AB实验的局限性以及因果推断、用户研究等内容,内容全面且系统。同时,本书将重点放在对AB实验关键环节的深入理解、关键问题的解决上,力争把问题从原理和实践角度剖析到位,而不是面面俱到地泛泛而谈。案例丰富,算例清晰,理论扎实又容易读懂。书中重要的知识点都配有翔实的行业实践案例,帮助读者更深入地理解应用场景。我还给出了生动易懂的例子以及严密公式的推导,以深入浅出的方式阐述AB实验涉及的复杂数理知识。比如,统计学中假设检验中的P值、显著性水平等问题,AB实验为什么能进行因果推断,以及需要具备什么条件等。视野广阔,内容与时俱进,具有先进性。在写作本书时,我对国际前沿热点、新近实践经验、研究成果、最新行业动态进行了持续的跟踪和解析,同时调研了国内多家大型互联网公司的AB实验实践情况,力求让本书具有全球视角下与时俱进的指导意义。本书主要内容本书分为6个部分,共21章。第一部分 了解AB实验(第1章),主要从AB实验的原理、行业案例出发,帮助读者建立对AB实验的基本认知,并从应用视角阐述AB实验的优势、价值,让读者了解学习AB实验的原因。第二部分 深入AB实验(第2~9章),对于AB实验中的关键问题和挑战、实践中容易出现的问题、较难理解的环节进行深入细致的解析,包括统计学相关、实验分流、实验灵敏度和长期影响评估等方面。第三部分 AB实验评估指标体系(第10、11章),主要对产品的指标体系和实验评估指标体系进行系统的阐述,介绍了从指标设计、评估、进化,到如何选择好的实验评估指标体系和合并OEC指标。指标体系既是数据体系的基础,也是数据驱动的抓手。没有好的指标体系,就无法计算和度量,数据就无法体现真正的价值。第四部分 AB实验的基础建设(第12~14章),主要讨论了如何构建AB实验体系,包括实验平台建设相关的工作,以及实验组织和文化应该如何建设,总结了AB实验解决方案框架,以及如何适配不同的行业、产品和业务场景。第五部分 基于AB实验的增长实践(第15~18章),以增长为目标,围绕AB实验,通过构建想法、验证想法、沉淀想法介绍了AB实验如何在实践中落地。第六部分 AB实验的局限与补充(第19~21章),重点介绍了AB实验的局限性,以及在不能进行AB实验的时候,还有哪些方法可以进行归因分析和用户调查。分角色重点导读分角色重点导读的目的是帮助那些时间有限或者已经有一定基础的读者进行重点学习、快速了解。建议对AB实验了解还比较粗浅或者时间充裕的读者按照顺序学习。篇章章名决策者产品经理和运营人员数据工作者研发人员第一部分第1章AB实验的基本原理和应用√√√√第二部分第2章AB实验的关键问题√√√√第3章AB实验的统计学知识√第4章AB实验参与单元√√第5章AB实验的随机分流√√√第6章AB实验的SRM问题√第7章AA实验√第8章AB实验的灵敏度√√√第9章AB实验的长期影响√√√第三部分第10章产品指标体系√√√√第11章实验评估指标体系√√√√第四部分第12章开展AB实验的基础条件√√√第13章AB实验平台的建设√√√√第14章实验组织和文化建设√√√第五部分第15章构建想法:形成产品假设√√√第16章验证想法:AB实验实践√√第17章沉淀想法:实验记忆√√√第18章基于AB实验的增长实践解决方案√√√√第六部分第19章AB实验的局限性√√√√第20章AB实验之外的因果分析方法√√第21章常用的用户调查分析方法√√资源和勘误由于本人水平有限,书中难免会有一些不当之处,恳请批评指正。读者可以通过微信公众号“AB实验与产品增长”中的“交流”板块与我联系,真挚期待得到你的反馈。由于篇幅有限,一些内容无法放入书中,比如图片、论文、案例等相关学习资料。读者可以在微信公众号“AB实验与产品增长”中下载这些内容。致谢感谢我的家人、朋友的支持和理解!这本书完全是我利用业余时间编写的,牺牲了大量陪伴家人和朋友的时间。在写书期间,你们不仅为我创造了良好的环境让我安心写作,还帮助我进行校对和审阅!没有你们的支持,完成这20多万字的撰写会更加困难。我将本书献给AB实验践行者、数据科学从业者、产品增长实践者,以及所有致力于数据驱动业务的朋友。正是你们的不懈努力和实践,才使我们对数据科学、AB实验的理解不断深入!刘玉凤2022年5月
|
|