Dbeaver,Hudi,Hive,Spark,Presto应用问题及解决措施梳理

近期频繁在mysql源端数据通过底层位Flink的平台进行数据接入至Hudi,过程中出现了一些问题,也通过了其他办法进行解决,现将整个过程的思路进行总结,以供大家共同学习进步。

问题1:基于Dbeaver工具,新建的Hudi表无法进行更新(即表结构,新增字段等);

解决措施:在Dbeaver中集成spark的包,通过sparkSQL的方式进行Hudi表的新建,解决表无法更新问题。

问题2:新建的Hudi表以及数据接入Hudi后,如何查看数据;

解决措施:在Dbeaver中集成Presto包,通过Presto的方式对Hudi数据及表进行查询。

问题3:基于Flink的平台,当源端数据更新或删除后,通过Hive方式输入时数据无法同步更新显示;

解决措施:在Flink的平台中,通过集成Hudi输入包,解决源端数据更新或删除后,平台未同步更新的问题;

总结:

1.hudi建表:在Dbeaver中使用spark方式(便于表管理);

2.Dbeaver中数据查询:presto方式(提升查询速度);

3.基于Flink的平台中数据链接方式:Hudi输入包(平台);

相关推荐
m0_740043731 小时前
Spring_全面详解入门
数据仓库·hive·hadoop
皓空揽月2 小时前
windows安装hadoop2.7.2教程(单机版)
hadoop·windows
淡定一生23332 小时前
数据仓库基本概念
大数据·数据仓库·spark
Lansonli2 小时前
大数据Spark(七十五):Action行动算子foreachpartition和count使用案例
大数据·分布式·spark
青云交1 天前
Java 大视界 -- Java 大数据在智能教育学习成果评估体系完善与教育质量提升中的深度应用(434)
java·hive·spark·智能教育·学习成果评估·教育质量提升·实时评估
howard20051 天前
Spark实战:在GraphX中创建和计算图
spark·graphx
阿里云大数据AI技术2 天前
活动报名 | Apache Spark Meetup · 上海站,助力企业构建高效数据平台
spark
咨询QQ:4877392782 天前
探索Qt下的UI皮肤生成器:多风格与编译那些事儿
hive
阿杰同学2 天前
Hadoop 面试题及答案整理,最新面试题
大数据·hadoop·分布式