【湖仓一体尝试】MYSQL和HIVE数据联合查询

爬了两天大大小小的一堆坑,今天把一个简单的单机环境的流程走通了,记录一笔。

先来个完工环境照:

mysql+hadoop+hive+flink+iceberg+trino

得益于IBM OPENJ9的优化,完全启动后的内存占用:

1)执行联合查询后的

2)其中trino由于必须使用ORACLE或OPENJDK,只能再安装多一个JDK21的环境

HIVE里ICEBERG的表和数据:

-- iceberg.test.my_tbl definition

CREATE TABLE iceberg.test.my_tbl (

user_id integer,

user_name varchar,

country varchar,

birthday date

)

WITH (

format = 'PARQUET',

format_version = 2,

location = 'hdfs://localhost:9000/user/hive/warehouse/test.db/my_tbl',

partitioning = ARRAY['country']

);

MYSQL里的表和数据:

-- dict.dict.country definition

CREATE TABLE dict.dict.country (

country_name varchar(2) NOT NULL,

country_cn varchar(20) NOT NULL

);

联合查询的执行结果:

相关推荐
老周聊架构1 小时前
聊聊Flink:Flink的状态管理
大数据·flink
筒栗子1 小时前
复习打卡大数据篇——Hadoop HDFS 01
大数据·hadoop·hdfs
谷莠子9054 小时前
hadoop实验之创业有感
hadoop·docker·团队开发
神秘打工猴5 小时前
hive常用函数有哪些
hive
lucky_syq19 小时前
Hive与HBase的区别有哪些
hive·hadoop·hbase
ssxueyi19 小时前
如何查看flink错误信息
大数据·flink
中东大鹅1 天前
分布式数据存储基础与HDFS操作实践
大数据·linux·hadoop·分布式·hbase
zybishe1 天前
免费送源码:Java+ssm++MVC+HTML+CSS+MySQL springboot 社区医院信息管理系统的设计与实现 计算机毕业设计原创定制
java·hadoop·sql·zookeeper·html·json·mvc
出发行进1 天前
Hive其五,使用技巧,数据查询,日志以及复杂类型的使用
大数据·hive·数据分析
武子康1 天前
大数据-256 离线数仓 - Atlas 数据仓库元数据管理 正式安装 启动服务访问 Hive血缘关系导入
大数据·数据仓库·hive·hadoop