目录
[INNER JOIN](#INNER JOIN)
[RIGHT JOIN](#RIGHT JOIN)
[FULL OUTER JOIN](#FULL OUTER JOIN)
在Flink SQL中,LEFT JOIN
操作会产生一个撤回流(retraction stream),这是因为流数据处理的特点使然。
撤回流怎么出现的?
当使用 LEFT JOIN
时,如果在右侧流中的某个键的关联值发生变化,Flink 会生成一个撤回消息来撤销之前的关联值,并发送一个新的消息来更新最新的关联值。这是为了确保最终结果是正确的。
举个简单的例子来说明这一点:
假设有两个流 A 和 B:
流 A (key, value):
(1, "A1")
(2, "A2")
流 B (key, value):
(1, "B1")
(2, "B2")
(2, "B3")
执行 LEFT JOIN
后的输出流可能如下:
-
对于 A 流中的
(1, "A1")
:- 关联到 B 流中的
(1, "B1")
,输出(1, "A1", "B1")
。
- 关联到 B 流中的
-
对于 A 流中的
(2, "A2")
:- 首先关联到 B 流中的
(2, "B2")
,输出(2, "A2", "B2")
。 - 当 B 流中
(2, "B3")
出现时,Flink 会撤回之前的(2, "A2", "B2")
,并输出新的(2, "A2", "B3")
。
- 首先关联到 B 流中的
因此,撤回流在这样的场景中非常重要,它确保了下游算子或接收者能够获得正确和最新的数据状态。
撤回流的引入使得处理流式数据时可以确保数据一致性和正确性,但同时也需要在设计和实现时考虑到撤回流对性能和资源的影响
注意:出现撤回流,当把数据写入kafka的时候为什么只能使用upsertkafka,不能普通的kafkasink
如何解决撤回流?
在Flink SQL中,使用 LEFT JOIN
操作产生撤回流(retraction stream)时,确实需要使用 upsert-kafka
connector 将数据写入 Kafka。这是因为 upsert-kafka
connector 能够正确处理更新和删除操作,保证数据的一致性和准确性。
这是因为:
-
撤回流的处理:
- 撤回流会产生删除和更新操作,而普通的 Kafka sink(如
kafka
connector)只支持追加(append)操作,无法处理更新和删除。 upsert-kafka
connector 支持UPSERT
语义,可以根据主键(key)来更新或删除记录。
- 撤回流会产生删除和更新操作,而普通的 Kafka sink(如
-
数据一致性:
- 使用普通的
kafka
connector,当数据需要更新或删除时,无法保证 Kafka 中的数据与 Flink 处理后的数据一致。 upsert-kafka
connector 会自动根据主键(key)来确定是否需要插入新记录、更新现有记录或删除记录,从而保证数据的一致性。
- 使用普通的
-
主键的支持:
upsert-kafka
依赖主键来识别记录,确保可以正确地进行更新或删除操作。- 在写入 Kafka 时,
upsert-kafka
会根据指定的主键来进行相应的操作,从而实现数据的幂等性和一致性。
简而言之,upsert-kafka
connector 能够处理复杂的流处理语义,确保撤回流中涉及的更新和删除操作被正确执行,保证数据的一致性和准确性。这是普通的 Kafka sink 无法实现的,因此在处理包含撤回流的操作时,使用 upsert-kafka
connector 是必要的。
还有哪些join会产生撤回流?
在 Flink SQL 中,除了 LEFT JOIN
,其他一些 JOIN 操作也会产生撤回流。具体来说,以下 JOIN 操作可能会导致撤回流的产生:
-
INNER JOIN:
INNER JOIN
会在两个表中找到匹配的记录并进行关联。当其中一张表的数据发生变化(插入、更新或删除)时,Flink 需要撤回之前的结果,并输出新的结果。
-
RIGHT JOIN:
- 类似于
LEFT JOIN
,RIGHT JOIN
会保留右表中的所有记录,并将左表中匹配的记录关联上。当右表中的数据发生变化时,撤回流会被触发以保证结果的一致性。
- 类似于
-
FULL OUTER JOIN:
FULL OUTER JOIN
会保留左右两表中的所有记录,并将匹配的记录进行关联。当任一表中的数据发生变化时,撤回流会被触发以更新最终的关联结果
例子
举例说明这些 JOIN 操作产生撤回流的情况:
INNER JOIN
假设有两个表 A 和 B:
表 A: (key, value)
(1, "A1")
(2, "A2")
表 B: (key, value)
(1, "B1")
(2, "B2")
执行 INNER JOIN
后:
- 对于 A 表中的
(1, "A1")
和 B 表中的(1, "B1")
,输出(1, "A1", "B1")
。 - 对于 A 表中的
(2, "A2")
和 B 表中的(2, "B2")
,输出(2, "A2", "B2")
。
如果 B 表中键为 2 的记录更新为 (2, "B3")
,Flink 需要撤回 (2, "A2", "B2")
,并输出新的 (2, "A2", "B3")
。
RIGHT JOIN
类似于 LEFT JOIN
,但保留右表中的所有记录。
FULL OUTER JOIN
保留左右两表中的所有记录。当任意一张表的数据发生变化时,都会触发撤回流
总结
在 Flink SQL 中,INNER JOIN
、RIGHT JOIN
和 FULL OUTER JOIN
操作会因为数据变化而产生撤回流。这是为了确保流处理的结果一致性和准确性。在设计流处理应用时,需要考虑这些撤回流的影响,选择合适的 sink connector,例如 upsert-kafka
,以正确处理这些操作。