技术栈
读不到
Laurence
9 个月前
sql
·
flink
·
spark
·
hudi
·
session
·
读不到
·
新数据
问题:Spark SQL 读不到 Flink 写入 Hudi 表的新数据,打开新 Session 才可见
使用 Flink 向 Hudi 表中写入数据,使用 Spark SQL 的 Shell 查询 Hudi 表(使用的是 Hudi HMS Catalog 统一管理和同步 Hudi 表的元数据),结果在 Spark 中只能查询到打开 Shell 之前表中的数据,之后通过 Flink 写入的数据不可见,但重新打开一个新的 Spark SQL Shell,就可以看到了。