帮助中心/文档详情/

广告模板优选实验

1. 应用场景

同一信息流代码位上,对比不同广告模板配置的效果差异,包含:

①自定义模板A vs 自定义模板B

②模板优选A vs 模板优选B

③自定义模板 vs 模板优选


某客户通过AB工具测出模板优选比自定义模板,CPM提升5%+,全量应用后直接带来了变现收入的提升。

2. 注意事项

①控制变量唯一:对照组和实验组之间仅有唯一变量区别,以便科学对比。

②提升实验流量:至少使用测试代码位10%以上的流量做实验,且每日实验人数>1万,以便得出科学对比结论

③增加实验天数:至少观察实验天数>7天后的数据结论,以便得出科学对比结论

④减少修改频率:实验开启后尽量减少修改,以免影响数据

⑤新老创建模板流程:仅支持新创建流程的模板配置的AB对比

新版创建流程交互:

//sf3-fe-tos.pglstatp-toutiao.com/obj/ad-penny-bucket/af13930fa72940e89c1ea923315e340d

旧版创建流程交互:

//sf3-fe-tos.pglstatp-toutiao.com/obj/ad-penny-bucket/13e9a46bcc054f9292290b5a76e0a0c0
3. 操作指引
3.1 开始创建实验

在开发者平台左侧,找到【A/B实验室】功能入口(如没有,请联系穿山甲对接人申请),点击【新建实验】,选择【广告模板优选实验】,点击【创建实验】

//sf3-fe-tos.pglstatp-toutiao.com/obj/ad-penny-bucket/762d3e71c8084ebaaa3106f7274baf40
//sf3-fe-tos.pglstatp-toutiao.com/obj/ad-penny-bucket/58a56589ac6e4ce78c24bb7c1582d991
3.2 输入基本信息

选择需要进行AB实验的应用,如应用过去未生成过App id,则不会显示在应用选择框内。需先点击【应用】,生成Applog参数后,回到AB配置界面方可使用。

实验天数建议设置>7天,以便得出科学结论。

//sf3-fe-tos.pglstatp-toutiao.com/obj/ad-penny-bucket/a6145d00bead4190b61dec1a6e66cd72

App id生成方法:【流量】→【应用】→【Applog参数】→【点击生成】

//sf3-fe-tos.pglstatp-toutiao.com/obj/ad-penny-bucket/e8ead148c1ce43df92f11d64089973b9
3.3 选择关注指标

可优先考虑将CPM设为【核心指标】,作为实验组是否胜出的评判条件

//sf3-fe-tos.pglstatp-toutiao.com/obj/ad-penny-bucket/77433ba1e0a44b7b94802436226f7dbd
3.4 设置实验版本

对照版本可采用代码位原有模板配置,实验版本可采用需要拿来对比的其他模板配置。注意对照组和实验组之间仅有唯一变量区别,以便科学对比。

点击【一键同步代码位原配置信息】按钮,可直接复制代码位的原有模板配置(仅支持新版创建流程的模板对比)

//sf3-fe-tos.pglstatp-toutiao.com/obj/ad-penny-bucket/95e94736893e46cd88f747b4e33c9d29
//sf3-fe-tos.pglstatp-toutiao.com/obj/ad-penny-bucket/5b26c083739a47a69bd7cb16408f567e
3.5 设置流量分配

【DAU预估数】代表每天进入实验组的预估人数,建议【DAU预估数】>1万,以便得出更置信结论

//sf3-fe-tos.pglstatp-toutiao.com/obj/ad-penny-bucket/f73321e2fd034494bdda25b14e15aadc
3.6 开启实验测试

创建实验后不会直接生效,默认显示【调试中】。开发者自行检查实验配置无误后,随时点击【开启】即可马上生效

//sf3-fe-tos.pglstatp-toutiao.com/obj/ad-penny-bucket/55fa72ab3d974a74ba8fbf6e582de41c
3.7 查看实验报告

点击【报告】可查看实验数据,建议等待>7天后,查看报告更置信。其中【报告概览】会提供【核心指标】的主要对比结论。

如果已得出【优胜组】结论,可点击【全量发布】按钮,直接用【优胜组】的模板配置替换测试代码位的原有模板配置(如果没有得出明显结论,可提升实验进组人数,并继续观察更多天,以便积累更多数据)

//sf3-fe-tos.pglstatp-toutiao.com/obj/ad-penny-bucket/0502c1cc5a78435786cce4c6cc86712d
4. 常见问题
4.1 AB实验的开启、修改、优胜组全量应用,是实时生效的吗?

是,实时生效。

4.2 如何科学配置AB实验

控制变量唯一,实验周期>7天,实验流量占比>10%,实验DAU>1万。

4.3 找不到想要测试的应用、代码位?

前往【应用】入口,为测试应用生成Applog参数后,回到AB配置界面方可使用。

广告模板实验,仅支持信息流代码位的测试。

4.4 “一键同步代码位原配置信息”是什么功能?为什么提示“代码位采用的旧模板样式,当前只支持新模板样式同步”

点击该按钮,可以将用来做AB实验的代码位的原有模板配置,直接复制到实验组中,提升实验配置的便捷性。

今年上半年,信息流模板渲染,进行了创建流程的新老版本切换。当前AB产品只支持新版创建流程配置的对比。

4.5 实验报告显示“暂未发现明显差异”,怎么办?

建议拉长实验周期,观察报告结论。如时间较久仍未得出明显结论,建议关闭实验重新创建。

4.6 提示“实验组优胜”,怎么办?

说明当前的实验组模板配置效果更优,建议用优胜组的配置去替换原有的线上配置。

可点击“全量应用”按钮,直接将优胜组的模板配置替换原有的线上模板配置,实时生效。

文档内容是否对您有帮助?
联系我们