一、适合人群

• 有信息流样式，并想通过调整模板提升信息流收益的开发者。

二、功能描述

• 主要帮助开发者在信息流模板渲染下，广告模版配置及广告模版优选的A/B对比。通过穿山甲A/B实验，验证信息流模版配置的组合、模版优选的布局策略是否能有效提升cpm指标，进而科学的优化代码位配置提升整体广告收益。

     ① 自定义模板A vs 自定义模板B

     ② 模板优选A vs 模板优选B

     ③ 自定义模板 vs 模板优选

某客户通过AB工具测出模板优选比自定义模板，CPM提升5%+，全量应用后直接带来了变现收入的提升。

三、推荐对比方法

1. 如想对比信息流自定义模板和模板优选的差异，建议在同一布局下进行对比，参考下图：

自定义模板：竖版布局中某模板 VS 模板优选：竖版布局

* 注意：选择模板优选的某布局后，默认适配该布局下所有模板

2. 如想对比信息流模板优选之间不同布局的差异，参考下图：

模板优选：竖版布局 VS 模板优选：横版布局

四、使用流程

新增快捷创建广告模板实验入口：信息流模板渲染代码位创建完毕后，将自动弹出A/B快捷入口弹窗。点击按钮，便可将刚刚创建的代码位用于广告模板A/B实验。

1. 在开发者平台左侧导航，点击“广告变现-辅助工具-A/B实验室”，点击“新建实验”

2. 选择“广告模板优选实验”功能，点击“创建实验”或“快捷开启实验”

• 创建实验：正常开启实验，需跳转至实验编辑页面

• 快捷开启实验：快速开启实验，在当前界面可直接配置好实验

3. 输入“基本信息”，选择需要进行AB实验的应用。

• 如应用过去未生成过App id，则不会显示在应用选择框内，需先点击“生成Applog参数”，随后该应用可继续配置实验（生成Applog参数不影响其他业务）

4. 选择“关注指标”，可优先考虑将CPM“设为核心指标”，作为实验胜出的评判条件

• 核心指标：用来决策实验功能是否符合预期的「直接效果指标」 也叫「成功指标」，每类指标模块只可以设置一个指标为该实验的核心指标
• 注意：如果实验的代码位是固定CPM/设底价代码位，核心指标尽量避免选择CPM，否则会难以对比出区别

5. 设置“实验版本”，可点击“一键同步代码位原配置信息”按钮，复制代码位的原有模板配置（仅支持新版创建流程的模板配置对比）

• 注意：如选择模板优选，服务端会返回多种宽高比例的模板，为了保证最佳的展示效果，需要保证使用模板优选的广告位在接入时将设置自动高度，即将setExpressViewAcceptedSize参数中的高度设置为0，具体查看：https://www.csjplatform.com/support/doc/610b53c17d600700463e0cf3

6. 设置“流量分配”，建议配置的实验“DAU预估数”≥1万，以便得出更置信结论

• 流量分配：可控制进入实验的用户比例，例如实验流量分配20%，将为实验中的各个版本总共分配20%该应用线上流量；
• DAU预估：可通过拖动流量分配条，明确预计会参与实验的DAU的影响范围；
• 添加受众规则：可以配置希望参与实验的用户群体，支持系统提供的默认维度以及自定义的属性。支持多个筛选组，组间关系只支持“或”，每个筛选组内的过滤条件支持“或”和“且”。

7. 创建后不会直接生效，默认显示“调试中”。再次检查实验配置无误后，点击“开启”即可生效

8. 建议等待7天后，点击“报告”查看实验数据。“报告概览”会提供“核心指标”的对比情况，如果已得出“优胜组”结论，可点击“全量发布”按钮，直接将测试代码位线上的模板配置改为优胜组的配置（如果没有得出明显结论，可提升实验进组人数，并继续观察更多天，以便积累更多数据）

五、常见问题

功能权限

Q1：如何申请“A/B实验室”功能？

• 请联系穿山甲对接人申请“A/B实验室”权限。

产品功能

Q2：穿山甲“A/B实验室”是什么？

• “A/B实验室”是穿山甲与火山引擎共同研发的一款AB实验工具，为AB实验提供科学准确的用户分流、数据分析等能力，当前支持广告模板及广告样式的对比。

Q3：穿山甲“A/B实验室”的优势是什么？

• ① 技术成熟：沿用火山引擎成熟的技术能力，充分保障实验结论的科学性；
• ② 操作便捷：在部分场景下无需技术介入、无需额外开发成本且上手十分简单，支持快捷配置；
• ③ 智能分析：通过统计引擎自动化分析实验效果，并提供可视化报表辅助分析；
• ④ 免费使用：开通权限即可免费使用，无需任何花费。

Q4：信息流“自定义模板”是什么？

• 信息流广告模板的一种类型，可以选每个布局下具体的某个模板样式，并可针对模板样式进行微调。

Q5：信息流“模板优选”是什么？

• 信息流广告模板的新功能，开发者无需选择具体信息流模板，由系统判断每次展示可出的最佳广告模板。

实验配置

Q6：实验开启和修改，是实时生效的吗？

• 是的，实时生效。

Q7：配置科学实验核心关注的几个点？

• 三个核心关注点：时长、核心指标、流量分配：
• 时长：建议选择7天以上的时间，保证能验证业务变化周期的实验时长；
• 核心指标：建议选择跟业务强相关，并且能有效反馈变量和目标因果关系的指标；
• 流量分配：可参考流量计算器，行业通用建议流量分配在10%～15%的应用流量或代码位流量进行测试。

Q8：“输入基本信息”环节，找不到想测试的应用、代码位？

• 可以在“流量管理-代码位管理”中新建可用于实验的代码位。

Q9：“输入基本信息”环节，实验时长建议怎么设置？

• 大多数实验场景建议选择7天以上的时间，保证覆盖一个以上的自然周。如果是特殊的长期观测实验，可根据需求设置。

Q10：“选择关注指标”环节，核心指标有什么特殊作用？

• 核心指标，用来决策实验策略是否符合预期的「直接效果指标」，也叫「成功指标」。比如开设「广告模板」的优化实验，那么「cpm」就是该实验的核心指标。每类指标模块只可以设置一个指标为某个实验的核心指标，可在实验报告里面查看实验数据。

Q11：“选择流量分组”环节，流量分配建议怎么设置？DAU预估、目标受众是指什么？

• 流量分配：可控制进入实验的用户比例，例如实验流量分配20%，将为实验中的各个版本总共分配20%该应用线上流量。
• DAU预估：可通过拖动流量分配条，明确预计会参与实验的DAU的影响范围。
• 添加受众规则：可以配置希望参与实验的用户群体，支持系统提供的默认维度以及自定义的属性。支持多个筛选组，组间关系只支持“或”，每个筛选组内的过滤条件支持“或”和“且”。

Q12：实验显示“调试中”是什么意思？

• 实验开启前的测试状态，点击“开始”后，实验正式生效。

Q13：“设置实验版本”环节，“一键同步代码位原配置信息”是什么作用？

• 点击该按钮，可以将用来做AB实验代码位的原有配置，直接复制到对照组中，提升配置的便捷性。

Q14：“设置实验版本”环节，为什么提示“代码位采用的旧模板样式，当前只支持新模板样式同步”？

• 因信息流模板渲染进行了创建流程的新老版本切换，当前AB产品只支持新版创建流程配置的对比。

报告观察

Q15：建议观察几天才能得出置信的结论？

实验时长过短和过长都不合适，建议实验时长保证7天以上的时间，与用户行为周期一致。

Q16：提示暂未发现明显差异，怎么办？

• 实验都是指标累加生成的，可拉长实验周期后观察报告结论（如果已远超过业务判断的影响周期，例如1年，可终止实验）。

Q17：提示有实验组优胜了怎么办？全量应用功能是什么？

• 说明当前的实验组效果更优，建议用优胜组的配置去替换原有的线上配置。全量应用功能是直接将优胜组的策略替换对照组原有的策略，实时生效。

Q18 :“什么情况下，实验才会之置信，才能判断出优胜组？

• 主要通过某个指标或留存的实验版本均值变化值以及置信区间来判断，在当前指标或用户留存上，实验版本是否比对照版本表现得更好。 如果在95%置信度下，置信区间同为正或者同为负，说明实验结果是统计显著的，即为“优胜组”；
• 如果在95%置信度下，置信区间为一正一负，说明实验结果是非统计显著的。