一、适合人群

• 不确定某场景下，哪个样式配置项收益更高的开发者

二、功能描述

• 通过对比不同配置项间的收益差距，帮助开发者确定哪个配置项的收益更高，支持模板渲染以下配置项对比：

三、使用流程

1. 在开发者平台左侧导航，点击“广告变现-辅助工具-A/B实验室”，进入功能，点击“新建实验”

2. 选择“广告样式配置实验”功能，点击“创建实验”

• 创建实验：正常开启实验，需跳转至实验编辑页面

3. 输入“基本信息”，选择需要进行AB实验的应用。如应用过去未生成过App id，则不会显示在应用选择框内，需先点击“生成Applog参数”，随后该应用可继续配置实验（生成Applog参数不影响其他业务）

4. 选择需要进行AB实验的广告样式、代码位及代码位配置

5. 选择“关注指标”，可优先考虑将CPM“设为核心指标”，作为实验胜出的评判条件

• 核心指标：用来决策实验功能是否符合预期的「直接效果指标」 也叫「成功指标」，每类指标模块只可以设置一个指标为该实验的核心指标

• 注意：如果实验的代码位是固定CPM/设底价代码位，核心指标尽量避免选择CPM，否则会难以对比出区别

6. 设置“实验版本”，将不同的「配置项」配置到实验版本中

• 举例：如果您选择【新插屏n秒后跳过】实验，对照组可选择【5s】配置，实验组可选择【10s】配置

7. 设置“流量分配”，建议配置的实验“DAU预估数”≥1万，以便得出更置信结论

• 流量分配：可控制进入实验的用户比例，例如实验流量分配20%，将为实验中的各个版本总共分配20%该应用线上流量；
• DAU预估：可通过拖动流量分配条，明确预计会参与实验的DAU的影响范围；
• 添加受众规则：可以配置希望参与实验的用户群体，支持系统提供的默认维度以及自定义的属性。支持多个筛选组，组间关系只支持“或”，每个筛选组内的过滤条件支持“或”和“且”。

8. 创建后不会直接生效，默认显示“调试中”。再次检查实验配置无误后，点击“开启”即可生效

9. 建议等待7天后，点击“报告”查看实验数据。“报告概览”会提供“核心指标”的对比情况，如果已得出“优胜组”结论，可点击“全量发布”按钮，直接将测试代码位线上的模板配置改为优胜组的配置（如果没有得出明显结论，可提升实验进组人数，并继续观察更多天，以便积累更多数据）

四、常见问题

功能权限

Q1：如何申请“A/B实验室”功能？

• 请联系穿山甲对接人申请“A/B实验室”权限。

产品功能

Q2：穿山甲“A/B实验室”是什么？

• “A/B实验室”是穿山甲与火山引擎共同研发的一款AB实验工具，为AB实验提供科学准确的用户分流、数据分析等能力，当前支持广告模板及广告样式的对比。

Q3：穿山甲“A/B实验室”的优势是什么？

• ① 技术成熟：沿用火山引擎成熟的技术能力，充分保障实验结论的科学性；
• ② 操作便捷：在部分场景下无需技术介入、无需额外开发成本且上手十分简单，支持快捷配置；
• ③ 智能分析：通过统计引擎自动化分析实验效果，并提供可视化报表辅助分析；
• ④ 免费使用：开通权限即可免费使用，无需任何花费。

实验配置

Q4：实验开启和修改，是实时生效的吗？

• 是的，实时生效。

Q5：配置科学实验核心关注的几个点？

• 三个核心关注点：时长、核心指标、流量分配：
• 时长：建议选择7天以上的时间，保证能验证业务变化周期的实验时长；
• 核心指标：建议选择跟业务强相关，并且能有效反馈变量和目标因果关系的指标；
• 流量分配：可参考流量计算器，行业通用建议流量分配在10%～15%的应用流量或代码位流量进行测试。

Q6：“输入基本信息”环节，找不到想测试的应用、代码位？

• 可以在“流量管理-代码位管理”中新建可用于实验的代码位。

Q7：“输入基本信息”环节，实验时长建议怎么设置？

• 大多数实验场景建议选择7天以上的时间，保证覆盖一个以上的自然周。如果是特殊的长期观测实验，可根据需求设置。

Q8：“选择关注指标”环节，核心指标有什么特殊作用？

• 核心指标，用来决策实验策略是否符合预期的「直接效果指标」，也叫「成功指标」。比如开设「广告模板」的优化实验，那么「cpm」就是该实验的核心指标。每类指标模块只可以设置一个指标为某个实验的核心指标，可在实验报告里面查看实验数据。

Q9：“选择流量分组”环节，流量分配建议怎么设置？DAU预估、目标受众是指什么？

• 流量分配：可控制进入实验的用户比例，例如实验流量分配20%，将为实验中的各个版本总共分配20%该应用线上流量。
• DAU预估：可通过拖动流量分配条，明确预计会参与实验的DAU的影响范围。
• 添加受众规则：可以配置希望参与实验的用户群体，支持系统提供的默认维度以及自定义的属性。支持多个筛选组，组间关系只支持“或”，每个筛选组内的过滤条件支持“或”和“且”。

Q10：实验显示“调试中”是什么意思？

• 实验开启前的测试状态，点击“开始”后，实验正式生效。

报告观察

Q11：建议观察几天才能得出置信的结论？

• 实验时长过短和过长都不合适，建议实验时长保证7天以上的时间，与用户行为周期一致。

Q12：提示暂未发现明显差异，怎么办？

• 实验都是指标累加生成的，可拉长实验周期后观察报告结论（如果已远超过业务判断的影响周期，例如1年，可终止实验）。

Q13：提示有实验组优胜了怎么办？全量应用功能是什么？

• 说明当前的实验组效果更优，建议用优胜组的配置去替换原有的线上配置。全量应用功能是直接将优胜组的策略替换对照组原有的策略，实时生效。

Q14：什么情况下，实验才会之置信，才能判断出优胜组？

• 主要通过某个指标或留存的实验版本均值变化值以及置信区间来判断，在当前指标或用户留存上，实验版本是否比对照版本表现得更好。 如果在95%置信度下，置信区间同为正或者同为负，说明实验结果是统计显著的，即为“优胜组”；
• 如果在95%置信度下，置信区间为一正一负，说明实验结果是非统计显著的。