更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群
DataTester，火山引擎推出的 AB 测试与智能优化平台，近日宣布对其 MAB（Multi-armed Bandit）功能进行了升级，以更好地满足企业营销决策的需求。MAB 是一种通过不断尝试不同的选择来找到最优决策的算法，广泛应用于营销领域。DataTester 的 MAB 功能已经在内部和外部得到了成功的验证。此次升级后，该功能将更加符合业务使用场景，帮助企业更快地找到最佳的营销策略。
在营销活动中，落地页是用户点击广告后进入的页面，是营销活动的重要环节之一。MAB 算法可以通过动态调整进入到各个落地页的流量，从而提高转化率和投资回报率。
DataTester 的 MAB 功能在设计之初就考虑到了实际应用场景。如果活动的投放落地页很多，同时活动周期比较短，需要快速引来更多的流量完成支付转化，那么 MAB 是合适的。如果活动会持续较长时间，想先用流量测试落地页方案，则选用传统的 AB 实验合适。
通过 MAB 算法，动态调整进入到各个落地页的流量，转化率高的落地页将拿到更高的流量。因此，在最终整体收益上，会超越每个方案随机分流量。这部分就是 MAB 动态调优的超额收益。
在正式开启调优之前，业务团队需要完成流量方案的设计。明确目标需要明确营销活动的目标，例如提高转化率、提高用户留存率率、提高下单率等；设计实验在确定策略后，就可以具体设计不同的落地页版本，测试不同策略的效果。
在火山引擎 DataTester 产品中，针对落地页可选择的调优场景为「可视化优化」和「多链接调优」两种场景，如果落地页变化内容较少、研发资源紧张，「可视化优化」可以快速生成不同的落地页版本测试；如果已经有设计好的落地页，那么可以使用「多链接调优」。
MAB 智能调优实验的创建也非常简单，根据实验设计方案将基本的信息依次按照提示创建好后，就可以将不同的营销落地页的 url 输入在不同的实验版本中，调优开始后，DataTester 将会按照不同落地页的转化，动态调整流量。
当调优开始后之后会看到哪些数据呢？
常规实验更关注的是优胜组的选择，而 MAB 实验相更关注的是，整个实验期间整体核心指标达到最优，所以实验报告首先会关注整体收益的情况。比如落地页的核心调优指标为 App 的启动转化，那么报告中会呈现整个调优过程中 MAB 相对于 AB 实验，到底提高了多少收益。
除整体收益提升外，企业通常还需要观察一些明细数据。DataTester 同时提供了核心指标明细表、核心指标明细图和实验流量分配图，便于分析更多内容。比如下图，核心指标绝对趋势图中，版本指标之间的大小关系对应到流量分配图上的流量分配，该时刻核心指标越大的版本，会在流量分配图上呈现越多的流量。
核心指标明细绝对趋势图
实验流量分配趋势图
"核心指标明细绝对趋势图"显示了不同实验版本在各时间点的表现，有助于发现哪个版本在整体表现上更优秀；"实验流量分配趋势图"则展示了各版本在不同时间点的流量分配情况，这有助于了解哪些版本更受用户欢迎。通过这些数据企业将可以更好地理解用户需求和市场变化，从而制定更有效的营销策略。
此次 DataTester 升级后的 MAB 功能，将为企业营销决策提供更强大的支持，帮助企业快速找到最佳的营销策略，实现更高的投资回报率。
据了解，火山引擎 DataTester 源自字节跳动 AB 实验的长期沉淀，2023 年中数据显示，字节已通过 DataTester 累计做过 240 万余次 AB 实验，日新增实验 4000 余个，同时运行实验 5 万余个。DataTester 目前服务了包括美的、得到、博西家电、凯叔讲故事等在内的上百家企业，为业务的用户增长、转化、产品迭代、运营活动等各个环节提供科学的决策依据，将成熟的"数据驱动增长"经验赋能给各行业。
点击跳转DataTester了解更多