一、功能介绍

• 概述：开发者可在同一广告位/同一流量分组下，配置A、B两组不同瀑布流，或在A、B组中创建不同的流量分组，并通过对比两组收益差异，确定更优的瀑布流配置/流量分组方案

• 主要应用场景（包含但不限于）：

• 其他测试场景：

1. 不同ADN、不同设价代码位、不同请求排序、不同层数之间的对照
2. 不同串并行请求方式、不同超时请求时长设置之间的对照
3. 使用用户展示控制功能与不使用用户展示控制功能之间的对照

二、使用流程

1、创建A/B测试

• 在【瀑布流管理】页具体的广告位下，点击「高级工具」->「创建A/B测试」可创建新的测试，并填写测试名称、设置A/B组的流量分配比例，即可完成创建
• 提示：智能管家开启状态下，无法创建A/B测试

2、配置瀑布流

• 为提高配置效率，现支持「复制A组瀑布流配置至B组」，具体包含2种方式： ① 复制所有A组代码位；② 仅复制A组已开启的代码位
• 提示：代码位复用可能导致 API 数据准确性降低：代码位分别在A、B组复用下，预估数据根据waterfall_id拆分，准确且不会混淆；但API数据根据预估数据按比例拆分，数据准确性有一定欠缺。如需采用API数据进行分析且能接受一定的数据偏差，可复用代码位；若想避免后续API数据分析时出现问题，不建议代码位复用，建议A、B组均新建代码位
• 为确保测试结论更置信，需保证变量唯一性，即除测试变量外，其他配置应保持一致。如想测试瀑布流层数对收益的影响时，应只保留两组在层数上的差异，串并行请求层数和超时时长设置等配置应保持一致

3、开启A/B测试

• 完成瀑布流配置后，开启测试，预计30分钟生效
• 为确保数据结论稳定，建议测试周期≥7天 且 每组测试累计展示量≥3w，或者去重DAU累计>5K，测试期间不建议更改瀑布流配置

4、查看测试数据

• 测试开启后，点击「查看A/B测试数据」可进入A/B测试数据分析页

1. A/B组数据对比表：

1. 当各ADN均在【广告网络】中配置了API数据返回时，则默认展示各ADN回传的API数据
2. 若广告网络的 API 配置不完整，页面会默认展示预估数据；为确保数据准确且快捷可用，建议提前开启并返回各ADN的API数据

1. A/B测试趋势图：

1. 默认为分天数据，时间筛选为“今日”时会展示分小时数据
2. 可切换右上角的【指标】，查看不同数据的变化趋势
3. “今日” 维度的小时报表暂不支持展示 API 数据

5、调整测试比例

• 测试过程中，点击「查看A/B测试数据」-「修改流量分配」来调整A/B组的流量比例，调整流量比例后，测试数据会新增“流量分配比例2”数据，原数据保留在 “流量分配比例 1” 中
• 提示：为保证测试数据量充足，不建议频繁调整流量分配比例。若需测试新的分配比例，建议关闭当前A/B测试，重建新的A/B测试

6、采纳测试结果

• 测试一定时间后，可点击「采用 A」或「采用 B」，将收益更高的测试组配置全量推广
• 推全前，建议通过「置信度评估」来查看当前测试是否已达置信水平，置信度评估工具计算原理：根据样本量(DAU)、A/B组ARPU均值及方差，判断 A、B 组间整体 ARPU 是否存在显著差异「计算达到显著水平所需的样本量（DAU）
• 提示：推全后，采用组的瀑布流将保留，放弃组的瀑布流可在历史测试页中查看

7、历史A/B测试

• 测试结束后，可点击「更多操作」-「查看历史A/B测试」来查看所有A/B测试类型的记录历史配置：在【A/B测试配置】点击【配置详情】查看数据结果：在【测试结果】点击【详情】查看

8、用户反转分流

• 当前流量分配比例为5:5分流时，可以通过点击「修改流量分配」，勾选「用户反转」实现两组用户的交换
• 提示：用户反转需要满足当前实验比例、反转后的实验比例均为5:5分流，否则用户反转无法生效

三、常见问题

1、代码位可以A组复制到B组吗？

A：可以，但不建议代码位复用。预估数据根据waterfall_id拆分，不会混淆；API数据根据预估数据按比例拆分，数据准确性有一定欠缺。如能接受一定的数据偏差，可复用代码位；若想避免后续数据分析出现问题，不建议代码位复用，建议A、B组均新建代码位。

2、A/B测试数据可以导出吗？

A：可以。在【瀑布流管理】中分别导出A组和B组的数据。【查看A/B测试数据】页中配置与数据（含历史数据）的导出功能暂不支持，已在规划中，相关更新敬请关注。

3、历史 A/B 测试配置能否复用至新建的 A/B 测试中？

A：目前暂不支持历史A/B测试直接复制并使用到新A/B测试中，相关功能已在规划中，相关更新敬请关注。

4、为什么部分代码位的填充率 API＞100%？

A：兜底代码位填充率API＞100%，跟a组b组代码位复用有关，请求量API、返回量API数据拆分是基于a组b组埋点上报的请求量、返回量占比预估拆分的。如若要做严格的A/B测试，则建议a组、b组使用不同代码位id。

5、为什么“置信度评估”中的建议样本量级异常高？

A：如建议样本量出现异常高值（如单组50w），建议检查流量质量。原因是，可能是流量中有大量 DAU 的收益贡献极低（甚至为0），即对收益的贡献度极低，因此需要较大DAU量级才能让消耗增幅/减幅更显著。