【湖仓一体尝试】MYSQL和HIVE数据联合查询

爬了两天大大小小的一堆坑,今天把一个简单的单机环境的流程走通了,记录一笔。

先来个完工环境照:

mysql+hadoop+hive+flink+iceberg+trino

得益于IBM OPENJ9的优化,完全启动后的内存占用:

1)执行联合查询后的

2)其中trino由于必须使用ORACLE或OPENJDK,只能再安装多一个JDK21的环境

HIVE里ICEBERG的表和数据:

-- iceberg.test.my_tbl definition

CREATE TABLE iceberg.test.my_tbl (

user_id integer,

user_name varchar,

country varchar,

birthday date

)

WITH (

format = 'PARQUET',

format_version = 2,

location = 'hdfs://localhost:9000/user/hive/warehouse/test.db/my_tbl',

partitioning = ARRAY['country']

);

MYSQL里的表和数据:

-- dict.dict.country definition

CREATE TABLE dict.dict.country (

country_name varchar(2) NOT NULL,

country_cn varchar(20) NOT NULL

);

联合查询的执行结果:

相关推荐
Irene199114 小时前
在 WSL Ubuntu 上安装和使用 Hive
linux·hive·ubuntu
IT界的老黄牛14 小时前
Flink 重启变双开:一次部署引发的两个 CDC 任务并发消费
大数据·flink·jenkins
二宝哥14 小时前
大数据之安装Hadoop3.1.4
大数据·hadoop
Irene199115 小时前
Windows 11 WSL Ubuntu 环境:安装 Hadoop 完整指南
hadoop·ubuntu
Irene199115 小时前
(课堂笔记)Hive 基础
hive·hadoop
nassi_1 天前
对AI工程问题的一些思考
大数据·人工智能·hadoop
zhojiew2 天前
在AWS中国区启动Trino使用Iceberg REST Endpoint查询S3 Tables的实践
大数据·trino·s3table
大大大大晴天2 天前
Flink JobManager 宕机了怎么办?一文讲透 Flink HA 原理与配置
flink
Irene19912 天前
(课堂笔记)hadoop 基础使用
hadoop
水火既济__2 天前
加快hive效率
数据仓库·hive·hadoop