【湖仓一体尝试】MYSQL和HIVE数据联合查询

爬了两天大大小小的一堆坑,今天把一个简单的单机环境的流程走通了,记录一笔。

先来个完工环境照:

mysql+hadoop+hive+flink+iceberg+trino

得益于IBM OPENJ9的优化,完全启动后的内存占用:

1)执行联合查询后的

2)其中trino由于必须使用ORACLE或OPENJDK,只能再安装多一个JDK21的环境

HIVE里ICEBERG的表和数据:

-- iceberg.test.my_tbl definition

CREATE TABLE iceberg.test.my_tbl (

user_id integer,

user_name varchar,

country varchar,

birthday date

)

WITH (

format = 'PARQUET',

format_version = 2,

location = 'hdfs://localhost:9000/user/hive/warehouse/test.db/my_tbl',

partitioning = ARRAY['country']

);

MYSQL里的表和数据:

-- dict.dict.country definition

CREATE TABLE dict.dict.country (

country_name varchar(2) NOT NULL,

country_cn varchar(20) NOT NULL

);

联合查询的执行结果:

相关推荐
油头少年_w4 小时前
大数据导论及分布式存储HadoopHDFS入门
大数据·hadoop·hdfs
工业互联网专业6 小时前
Python毕业设计选题:基于Hadoop的租房数据分析系统的设计与实现
vue.js·hadoop·python·flask·毕业设计·源码·课程设计
bigdata-余建新15 小时前
HDFS和HBase跨集群数据迁移 源码
hadoop·hdfs·hbase
Mephisto.java15 小时前
【大数据学习 | kafka高级部分】文件清除原理
大数据·hadoop·zookeeper·spark·kafka·hbase·flume
m0_3755997315 小时前
Hadoop:单节点配置YARN
hadoop·yarn
晨航16 小时前
Flink本地模式安装详解
大数据·flink
sf_www16 小时前
flink 内存配置(五):网络缓存调优
大数据·网络·flink
大数据魔法师18 小时前
Hadoop生态圈框架部署(五)- Zookeeper完全分布式部署
hadoop·分布式·zookeeper
我的K840919 小时前
Flink滑动窗口(Sliding)中window和windowAll的区别
flink
inori125619 小时前
FlinkSql读取外部Mysql和HBase数据库的方法(scala)
mysql·flink·hbase