货运行业的发展日新月异，双边市场性是货运行业的重要特征。与传统的交易模式有所不同，货运双边市场呈现出独特的连接撮合和网络效应特性，为市场的高效运作和参与者的满足提供了基础。在这个市场中，货主和司机通过平台进行连接，实现需求与供应的匹配 。然而，这种模式也带来了一系列的实验挑战，如交易、价格、营销和产品场景中的问题。本文将通过详细阐述这些挑战，以及针对这些挑战提出的技术方案，为读者深入理解货运双边市场实验的复杂性和解决之道提供指引。
在接下来的系列文章中，我们将深入探讨如何在实践中克服这些挑战，以实现更高效、更精准的货运双边市场实验。
一、初识货运双边市场
与传统的一对一或一对多交易不同，货运行业展现了典型的双边市场特点，主要建立在连接撮合 和网络效应之上。
连接撮合 是指在这种市场结构中，货主作为需求方需寻找合适的车辆来运输货物；而司机作为供应方则等待有利可图的订单以提供服务。平台作为连接双方的桥梁，集合了分散的货主和司机，促进有效的交易，确保满足市场参与者需求，实现市场高效运作。网络效应指平台价值与规模成正比。例如，对货主而言，平台上司机增多意味着更大的运输选择；反之，司机在平台上有更多订单可获得收入。
此外，货运市场还涉及独特问题，如车货匹配。不同于客运，货运需要考虑多种车型与订单需求的匹配，为在货运双边市场实验带来挑战。在此系列文章中，我们将分享应对这些挑战的经验。
二、 货运场景实验问题
2.1 交易场景
在货运行业的交易场景中，一大挑战来自传统个体分流方法（例如，基于订单ID或用户ID）的不适用性。这主要是因为在同一时间空间里，实验组和对照组的策略并行存在，造成了各组之间运力的互相竞争。例如，拥有更优策略的实验组可能会"吸引"掉对照组中的运力，导致一个"优胜劣汰"的现象。这种现象违反了传统AB实验的基础假设------SUTVA（Stable Unit Treatment Value Assumption）。根据这一假设，每个实验单元（可以是订单、用户或其他因素，具体取决于实验设计）的结果不应受到其他实验单元的影响。因此，在如此复杂的交易场景下，实验结果容易产生偏误。
一个相关的衍生问题是多层实验的相互干扰。当大量实验同时进行而流量有限时，非个体分流会使得多层实验的正交性难以维持，进一步加大实验结果的复杂性和偏误。
2.2 价格场景
在货运行业中，价格场景相关的实验，如灵活计价、加价议价和高峰服务费等，也面临着一系列挑战。首先，和交易场景一样，这些实验也需要面对运力竞争的问题。其次，个体差异化定价受到诸如政策和法规等外部因素的限制，这进一步增加了个体分流的难度。
当采用更粗颗粒度进行分流以降低实验偏差时，这通常会导致实验单元数的减少。虽然这种做法能减少某种程度的偏差，但它也不可避免地增加了实验结果的方差。具体来说，这可能会导致实验组之间的同质性难以维持，从而使得实验效果不易达到显著水平。
2.3 营销场景
在营销场景下，特别是在普遍补贴率相对较低的条件下，各实验组之间的用户特征和兑券依从率等因素存在显著差异。当这些大幅度的内部差异和理论上较小的实验效果相结合时，就容易导致实验结果不显著或甚至出现反常识的倒挂现象。解决这类问题需要采用科学的衡量方法来纠正潜在的偏误。
除此之外，营销场景下也常面临着全量干预的问题，如拉货节等大型促销活动。在这些情况下，往往没有设置实验组和对照组进行传统的AB实验，而只能依赖时序的观察性数据。如何从这种观察性数据中准确抽取因果关系，也成为了一个重要而具挑战性的任务。
2.4 产品场景
产品场景，主要涉及到App端和小程序端的功能改进和用户体验（UX）优化等方面的实验。这一类实验面临的主要挑战是，其涉及的指标不仅数量众多，而且很零散，此外，这些功能实验通常相对孤立，难以形成系统性的评估。
具体而言，当涉及多个页面和多个指标时，实验设计的复杂性急剧增加。这不仅涉及如何科学地定义和衡量实验效果，还需要解决如何在业务层面上合理解释这些复杂和多元的数据。这里的复杂性不仅是技术性的，也包括如何与业务目标和用户体验保持一致性。因此，在产品场景下进行实验不仅要求精准的数据分析技巧，也需要跨部门的合作，以确保实验结果不仅科学，而且能够应用于实际业务决策。
2.5 货运双边市场的挑战总结
为了更直观地总结货运双边市场中的实验问题，我们将通过一张图来一目了然地展示这些挑战。这样的图解方式不仅便于快速把握货运双边市场实验面临的各种问题，还有助于我们更系统地思考如何解决这些问题。通过这张图，我们也希望能引导大家深入探讨这些复杂挑战的解决方案。
三、货运实验技术方案
对应以上四大挑战，我们提出了一套综合性的技术方案。该方案遵循四大原则，并结合多种方法，旨在实现清晰、科学、可解读的干预效果。
四大原则：
- 分流：实验分流要科学权衡
- 同质性：实验分组差异要小
- 效率：效率解读效率要高
- 非实验：非实验效果可衡量
3.1 实验分流
当面对个体分流不适用的问题时，我们采取了簇分流的策略。在这种方法中，实验参与者被划分到更粗粒度的单元（称之为"簇"）内，从而最大限度地减少了不同簇之间的相互干扰。这确保了簇内所有参与者受到相同类型的实验干预，有助于减少实验结果的偏差。
在选择簇的时候，我们会根据实验内容和目标进行全面评估。通常所选择的簇涉及多个维度，包括时间和空间，有时甚至会是时间和空间的复合组合。一个具体的例子是我们提出的先进实验方案："城市群按天轮播"。这个方案结合了时间和空间的因素，以确保实验偏差降到最低，同时也降低了实验效果的方差，使得实验结果更为准确和灵敏。
在实验分流中，另一个关键策略是层间正交。为了确保不同实验之间的独立性，我们引入了个体层间正交和时间片层间正交这两种方法。具体操作上，我们在个体或时间片这两个层面设置多个层级，并通过级联的方式，将不同实验的流量均匀地组合在一起。
这些精心设计的分流策略使我们能够更有效地应对货运双边市场中的复杂挑战，从而得出更可靠和有实用价值的实验结果。
3.2 实验同质性
实验同质性是科学实验中一个不可忽视的要素。理想状态下，实验组和对照组在实验前应是完全同质和可比较的两组，以便确保观测到的任何指标差异都是由实验干预引起的。然而，在复杂的货运双边市场环境下，确保完全的同质性并不总是那么容易。
为了应对这一挑战，我们采用了多种方法来最大程度地确保群体的同质性。在实验前，我们通常进行AA测试和寻找最优分组方案来验证和保障群体的同质性。如果在实验后发现存在同质性的偏差，我们也有相应的修正措施。例如，我们会使用CUPED（Controlled Experiments Using Pre-Experiment Data）或DID（Difference-in-Differences）等统计方法，结合实验外的协变量信息，来校正这些偏差。
通过这一系列严谨的步骤，我们能更有效地控制实验中的变量，从而提高实验结果的准确性和可信度。
3.3 实验解读
实验解读是完成整个实验过程后非常关键的一步，它决定了实验能否达到预期的目标。为了确保解读的准确性和权威性，我们采取了多方面的措施。
首先，我们构建了一个全面的指标体系，旨在使得指标更加权威和标准化。这不仅提供了一个清晰、一致的评估框架，还方便了跨部门、跨团队的沟通和理解。
其次，我们建立了支持这一指标体系的数据模型。这个数据模型作为指标体系的后端支持，确保了数据准确性和一致性，从而让实验结果更具说服力。
第三，我们制定了一套详细的实验和报告的SOP，涵盖了多个部门和层面。这样做不仅使得实验流程更加规范和高效，而且也确保了实验报告能自动化、平台化和标准化地解读。
除此之外，显著性检验也是实验解读中的一个核心组成部分。显著性检验的主要目的是确定实验效果是否具有统计意义，而不仅仅是随机波动所导致的。因为不同指标和实验方式对显著性检验的需求各不相同，我们在构建指标体系的同时，也开发了一个全面的显著性检验体系，以适应实践中各种不同类型指标的解读需求。
通过这些多维度的努力，我们确保了实验结果不仅准确，而且能够提供深入、全面的洞见，从而更好地指导实践。
3.4 观察性研究
在不能进行AB实验的情况下，观察性研究通常成为评估干预效果的重要手段。这种研究方式不依赖于实验和对照组的随机分配，而是利用现有的数据来进行因果关系的推断。虽然它可能没有随机控制实验那样精确，但在某些限制性条件下（如政策法规、成本、时间等因素限制）它依然能提供有用的洞见。
观察性研究的难点在于如何准确地控制所有潜在的混杂变量，这些变量可能同时影响干预和结果。因此，在这种研究设置中，数据和干预的形式尤为关键。
总体来说，观察性研究在不能进行传统实验的多种场景中都是一个有价值的工具。通过精心设计和严格执行，它可以提供关于干预效果的有价值的信息，从而辅助决策和策略优化。
四、 总结
总而言之，货运双边市场作为一个充满活力的领域，具有很多独特的特性。然而，这也带来了实验设计和解读方面的一系列挑战，涵盖了交易、价格、营销和产品等多个场景。通过本文的详细探讨，我们深入理解了这些挑战，并提出了相应的技术方案，以实现更清晰、科学、可解读的实验。在后续推出的一系列文章中，我们将更具体地分享在实践中如何应对这些挑战，以及如何通过创新的方法达到更高效、更准确的货运双边市场实验结果。敬请关注我们的后续文章，一同探索这个充满机遇和挑战的领域。