【湖仓一体尝试】MYSQL和HIVE数据联合查询

爬了两天大大小小的一堆坑,今天把一个简单的单机环境的流程走通了,记录一笔。

先来个完工环境照:

mysql+hadoop+hive+flink+iceberg+trino

得益于IBM OPENJ9的优化,完全启动后的内存占用:

1)执行联合查询后的

2)其中trino由于必须使用ORACLE或OPENJDK,只能再安装多一个JDK21的环境

HIVE里ICEBERG的表和数据:

-- iceberg.test.my_tbl definition

CREATE TABLE iceberg.test.my_tbl (

user_id integer,

user_name varchar,

country varchar,

birthday date

)

WITH (

format = 'PARQUET',

format_version = 2,

location = 'hdfs://localhost:9000/user/hive/warehouse/test.db/my_tbl',

partitioning = ARRAY['country']

);

MYSQL里的表和数据:

-- dict.dict.country definition

CREATE TABLE dict.dict.country (

country_name varchar(2) NOT NULL,

country_cn varchar(20) NOT NULL

);

联合查询的执行结果:

相关推荐
IIIIIILLLLLLLLLLLLL15 小时前
Hadoop集群时间同步方法
大数据·hadoop·分布式
Macbethad1 天前
WPF工业设备诊断管理程序技术方案
大数据·hadoop·分布式
稚辉君.MCA_P8_Java1 天前
Gemini永久会员 Hadoop分布式计算框架MapReduce
大数据·hadoop·分布式·架构·mapreduce
Hello.Reader1 天前
Flink SQL 中的 SELECT DISTINCT批流一体下的去重与状态管理
数据库·sql·flink
士心凡1 天前
hadoop
大数据·hadoop·分布式
IIIIIILLLLLLLLLLLLL1 天前
Hadoop完全分布式安装
大数据·hadoop·分布式
一颗宁檬不酸1 天前
《Java Web 期末项目分享:MVC+DBUtils+c3p0 玩转数据库增删改查》——第一弹
数据仓库·hive·hadoop
丸码1 天前
Servlet生命周期全解析
数据仓库·hive·hadoop
士心凡1 天前
Hive教程
数据仓库·hive·hadoop
Jackyzhe1 天前
Flink学习笔记:时间与Watermark
大数据·flink