【湖仓一体尝试】MYSQL和HIVE数据联合查询

爬了两天大大小小的一堆坑,今天把一个简单的单机环境的流程走通了,记录一笔。

先来个完工环境照:

mysql+hadoop+hive+flink+iceberg+trino

得益于IBM OPENJ9的优化,完全启动后的内存占用:

1)执行联合查询后的

2)其中trino由于必须使用ORACLE或OPENJDK,只能再安装多一个JDK21的环境

HIVE里ICEBERG的表和数据:

-- iceberg.test.my_tbl definition

CREATE TABLE iceberg.test.my_tbl (

user_id integer,

user_name varchar,

country varchar,

birthday date

)

WITH (

format = 'PARQUET',

format_version = 2,

location = 'hdfs://localhost:9000/user/hive/warehouse/test.db/my_tbl',

partitioning = ARRAY['country']

);

MYSQL里的表和数据:

-- dict.dict.country definition

CREATE TABLE dict.dict.country (

country_name varchar(2) NOT NULL,

country_cn varchar(20) NOT NULL

);

联合查询的执行结果:

相关推荐
Jackyzhe3 小时前
Flink源码阅读:Mailbox线程模型
大数据·flink
talle20214 小时前
Hadoop分布式资源管理框架【Yarn】
大数据·hadoop·分布式
Hello.Reader5 小时前
Flink 读文本文件TextLineInputFormat + FileSource(批/流一体)+ 目录持续监控
大数据·flink
yumgpkpm5 小时前
基于GPU的Spark应用加速 Cloudera CDP/华为CMP鲲鹏版+Nvidia英伟达联合解决方案
大数据·数据库·人工智能·hadoop·elasticsearch·spark·cloudera
Analyze_ing6 小时前
DolphinScheduler启动flink任务, 用Flink消费Kafka数据(linux)
大数据·flink·kafka
talle20216 小时前
Hadoop分布式文件系统【HDFS】
大数据·hadoop·hdfs
面向Google编程17 小时前
Flink源码阅读:Mailbox线程模型
大数据·flink
亲爱的非洲野猪1 天前
SpringBoot启动流程深度剖析:从@SpringBootApplication到Servlet容器就绪
hive·spring boot·servlet
Hello.Reader1 天前
CSV Format Flink / PyFlink 读写 CSV 的正确姿势(含 Schema 高级配置)
大数据·python·flink
星火开发设计1 天前
深入浅出HDFS:分布式文件系统核心原理与实践解析
大数据·数据库·hadoop·学习·hdfs·分布式数据库·知识