【湖仓一体尝试】MYSQL和HIVE数据联合查询

爬了两天大大小小的一堆坑,今天把一个简单的单机环境的流程走通了,记录一笔。

先来个完工环境照:

mysql+hadoop+hive+flink+iceberg+trino

得益于IBM OPENJ9的优化,完全启动后的内存占用:

1)执行联合查询后的

2)其中trino由于必须使用ORACLE或OPENJDK,只能再安装多一个JDK21的环境

HIVE里ICEBERG的表和数据:

-- iceberg.test.my_tbl definition

CREATE TABLE iceberg.test.my_tbl (

user_id integer,

user_name varchar,

country varchar,

birthday date

)

WITH (

format = 'PARQUET',

format_version = 2,

location = 'hdfs://localhost:9000/user/hive/warehouse/test.db/my_tbl',

partitioning = ARRAY['country']

);

MYSQL里的表和数据:

-- dict.dict.country definition

CREATE TABLE dict.dict.country (

country_name varchar(2) NOT NULL,

country_cn varchar(20) NOT NULL

);

联合查询的执行结果:

相关推荐
大大大大晴天️16 小时前
大数据实时计算-反压机制剖析
大数据·flink·spark streaming
yzx99101318 小时前
实时数据处理实战:使用 Apache Flink 消费 Kafka 数据并进行窗口聚合
flink·kafka·apache
孤影过客1 天前
驯服数据巨兽:Hadoop如何重塑大数据的黄金时代
大数据·hadoop·分布式
极光代码工作室1 天前
基于Hadoop的日志数据分析系统设计
大数据·hadoop·python·数据分析·数据可视化
递归尽头是星辰1 天前
Flink 四大基石:核心原理与实战速查
大数据·人工智能·flink·实时计算
运维老曾2 天前
Flink 1.20 使用自带jdbc source 操作步骤
android·adb·flink
运维老曾2 天前
Flink MySQL source 自定义开发步骤
大数据·mysql·flink
tumeng07112 天前
HDFS的架构优势与基本操作
hadoop·hdfs·架构
蓝眸少年CY2 天前
Hive - 函数、压缩与优化
数据仓库·hive·hadoop
仗剑_走天涯2 天前
Hadoop 安装
大数据·hadoop·分布式