技术栈

新数据

Laurence
1 年前
sql·flink·spark·hudi·session·读不到·新数据
问题:Spark SQL 读不到 Flink 写入 Hudi 表的新数据,打开新 Session 才可见使用 Flink 向 Hudi 表中写入数据,使用 Spark SQL 的 Shell 查询 Hudi 表(使用的是 Hudi HMS Catalog 统一管理和同步 Hudi 表的元数据),结果在 Spark 中只能查询到打开 Shell 之前表中的数据,之后通过 Flink 写入的数据不可见,但重新打开一个新的 Spark SQL Shell,就可以看到了。