【湖仓一体尝试】MYSQL和HIVE数据联合查询

爬了两天大大小小的一堆坑,今天把一个简单的单机环境的流程走通了,记录一笔。

先来个完工环境照:

mysql+hadoop+hive+flink+iceberg+trino

得益于IBM OPENJ9的优化,完全启动后的内存占用:

1)执行联合查询后的

2)其中trino由于必须使用ORACLE或OPENJDK,只能再安装多一个JDK21的环境

HIVE里ICEBERG的表和数据:

-- iceberg.test.my_tbl definition

CREATE TABLE iceberg.test.my_tbl (

user_id integer,

user_name varchar,

country varchar,

birthday date

)

WITH (

format = 'PARQUET',

format_version = 2,

location = 'hdfs://localhost:9000/user/hive/warehouse/test.db/my_tbl',

partitioning = ARRAY['country']

);

MYSQL里的表和数据:

-- dict.dict.country definition

CREATE TABLE dict.dict.country (

country_name varchar(2) NOT NULL,

country_cn varchar(20) NOT NULL

);

联合查询的执行结果:

相关推荐
火龙谷8 小时前
【hadoop】Flink安装部署
flink
火龙谷9 小时前
【hadoop】Davinci数据可视化工具的安装部署
大数据·hadoop·分布式
£菜鸟也有梦10 小时前
从0到1,带你走进Flink的世界
大数据·hadoop·flink·spark
隰有游龙18 小时前
hadoop集群启动没有datanode解决
大数据·hadoop·分布式
黄雪超1 天前
DataStreamAPI实践原理——快速上手(实操详细版)
大数据·flink·scala
Flink_China1 天前
Fluss 实战:用 Partial Update 构建实时宽表的新范式
大数据·flink
viperrrrrrrrrr71 天前
大数据学习(129)-Hive数据分析
大数据·hive·学习
伍六星1 天前
图片上传问题解决方案与实践
大数据·hive·hadoop
后端码匠1 天前
Kafka 单机部署启动教程(适用于 Spark + Hadoop 环境)
hadoop·spark·kafka
TCChzp1 天前
Kafka入门-集群基础环境搭建(JDK/Hadoop 部署 + 虚拟机配置 + SSH 免密+Kafka安装启动)
java·hadoop·kafka