技术栈

分流

量化交易学徒
1 年前
运维·路由·devops·openvpn·分流
【DevOps】OpenVPN 实现分流的几种方法和实战目录一、OpenVPN 的几种分流方法1、基于路由表的分流 (Policy Based Routing)
Laurence
1 年前
spark·多数据源·streaming·分流·双写·多表·foreachbatch
Spark Structured Streaming 分流或双写多表 / 多数据源(Multi Sinks / Writes)在 Spark Structured Streaming 中,我们有时候需要将最后的处理结果分流或双写到多张表或多个数据源(Multi Sinks / Writes),一个典型的例子是:在 CDC 数据入湖场景里,一个 Kafka Topic 上存放着整库或多张表的 CDC 消息,使用 Spark 从 Kafka 中摄取这些消息后,需要根据消息中提供的数据库名和数据表名对 CDC 消息分流,然后写到数据湖上对应的 ODS 表中,这就是一种典型的“数据分流”场景。在 Spark Structured Str