更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群
近日,火山引擎 DataTester 推出了重要功能------A/B实验经验库。
基于在字节跳动已完成150万余次A/B实验的经验,DataTester 首创了A/B实验经验库功能。该功能可帮助业务人员将历史的A/B实验经验沉淀,并通过条件筛选,快速找到所需实验信息并进行数据分析。汲取过往在A/B实验设计和结果方面的经验,并了解优化方向,更好为后续的业务赋能。
以往,当企业需要去查看往期A/B实验信息时,只能通过实验列表去挨个点击查看,这样做对于业务人员来说不仅仅很耗时耗力,而且无法全面了解过往A/B实验所积累的有效信息。
A/B实验经验库功能上线后,企业能够自主筛选、高效调用以往A/B实验的数据及详情,并查阅 DataTester 以经验报告形式做的抽象和总结。该功能让 DataTester 从单纯支持A/B实验的数据工具平台,升级成为了企业业务信息沉淀的系统,可以帮助企业不断迭代优化A/B实验的设计与效果。
在 DataTester 的经验库中,用户可以通过检索多类标签,查看业务历史上A/B实验的目标群体、实验策略、实验结论:
- 实验信息:支持检索实验名称、实验描述、实验版本名称、创新人等信息;
- 运行时间:支持对运行时间、开始时间、停止时间进行时间范围筛选;
- 展示指标:支持输入需要所需查询的任意数据指标,如点击率、转化率、DAU等;
- 目标受众:支持筛选实验目标人群包,可按公共属性和用户分群等维度进行筛选。
以具体的应用场景举例,假设业务运营有一个目标:期望增加产品在"北上广深"的女性用户群体的使用活跃度。那么业务运营首先要了解在过往,产品针对"北上广深"的女性群体做过哪些运营动作,在A/B测试中,哪些运营动作成效显著,哪些效果不好。
在 DataTester 的经验库中,业务运营人员可以选择目标受众为"女性"标签,再选择城市标签为"北京、上海、广州、深圳";此时,即可查看以往针对上述人群的有效果的实验有哪些。
如果想进一步拆分针对上述人群中与"使用活跃度"有关的实验,那么可以在指标选取上更加细分和灵活。例如可选取"新增用户数"指标,来查看往期试验中,提升了目标群体日活的实验;与此同时还可选取"订购"指标,查看往期试验中提升了目标群体消费情况的实验。
这样一个满足业务运营所需条件的往期实验就全部筛选出来了。运营人员可以详细的查看和分析往期实验的数据,在此基础上继续设计深化新的A/B实验策略。
DataTester 的A/B实验经验库,让企业的每一次A/B实验都不再是各自独立的个体,而能够层层递进,每一次都在上一次的实验效果基础上进一步调优,可以帮助企业减少"重复造轮子"的情况,大幅提升效率。
DataTester 是字节跳动内部应用多年的A/B实验平台,当前已通过火山引擎面向外部企业开放服务,能基于先进的底层算法,提供科学分流能力和智能的统计引擎,支持多种复杂的A/B实验类型。在应用和分析场景上,火山引擎 DataTester 深度耦合推荐、广告、搜索、UI、产品功能等多种业务场景需求,为业务增长、转化、产品迭代,策略优化,运营提效等各个环节提供科学的决策依据,让业务真正做到数据驱动。
目前,火山引擎 DataTester 已经服务了美的、得到、凯叔讲故事等在内的上百家标杆客户,将成熟的"数据驱动增长"经验赋能给各行业。
点击跳转火山引擎 DataTester了解更多