【湖仓一体尝试】MYSQL和HIVE数据联合查询

爬了两天大大小小的一堆坑,今天把一个简单的单机环境的流程走通了,记录一笔。

先来个完工环境照:

mysql+hadoop+hive+flink+iceberg+trino

得益于IBM OPENJ9的优化,完全启动后的内存占用:

1)执行联合查询后的

2)其中trino由于必须使用ORACLE或OPENJDK,只能再安装多一个JDK21的环境

HIVE里ICEBERG的表和数据:

-- iceberg.test.my_tbl definition

CREATE TABLE iceberg.test.my_tbl (

user_id integer,

user_name varchar,

country varchar,

birthday date

)

WITH (

format = 'PARQUET',

format_version = 2,

location = 'hdfs://localhost:9000/user/hive/warehouse/test.db/my_tbl',

partitioning = ARRAY['country']

);

MYSQL里的表和数据:

-- dict.dict.country definition

CREATE TABLE dict.dict.country (

country_name varchar(2) NOT NULL,

country_cn varchar(20) NOT NULL

);

联合查询的执行结果:

相关推荐
warrah36 分钟前
flink-cdc同步数据到doris中
flink·doris
坚定信念,勇往无前38 分钟前
Spring Boot中整合Flink CDC 数据库变更监听器来实现对MySQL数据库
数据库·spring boot·flink
桃林春风一杯酒1 小时前
HADOOP_HOME and hadoop.home.dir are unset.
大数据·hadoop·分布式
undo_try3 小时前
大数据组件(四)快速入门实时数据湖存储系统Apache Paimon(2)
flink·bigdata·paimon
B站计算机毕业设计超人6 小时前
计算机毕业设计Hadoop+Spark+DeepSeek-R1大模型民宿推荐系统 hive民宿可视化 民宿爬虫 大数据毕业设计(源码+LW文档+PPT+讲解)
大数据·hadoop·爬虫·机器学习·课程设计·数据可视化·推荐算法
知初~14 小时前
出行项目案例
hive·hadoop·redis·sql·mysql·spark·database
m0_7482359518 小时前
Python大数据可视化:基于Python的王者荣耀战队的数据分析系统设计与实现_flask+hadoop+spider
hadoop·python·flask
roman_日积跬步-终至千里1 天前
【Flink 实战】Flink 中 Akka 通信与内存占用分析
大数据·flink
抛砖者1 天前
8. Flink-CDC
flink·flink-cdc
码上淘金1 天前
Apache Flink架构深度解析:任务调度、算子数据同步与TaskSlot资源管理机制
大数据·架构·flink