Flink整合Hudi及使用

1、jar包上传

上传jar包即可完成整合

bash 复制代码
# 1、将hudi-flink1.15-bundle-0.15.0.jar包上传到flink的lib目录下
/usr/local/soft/flink-1.15.3/lib

-- 如果没有启动集群,直接忽略
#  2、重启flink的集群
yarn application -list
yarn application -kill application_1706339492248_0003
yarn-session.sh -d

# 重启命令行
sql-client.sh

2、使用

sql 复制代码
-- 创建表
CREATE TABLE students_hudi(
    id STRING PRIMARY KEY NOT ENFORCED,
    name STRING,
    age INT,
    sex STRING,
    clazz STRING
)
PARTITIONED BY (clazz)
WITH (
  'connector' = 'hudi',
  'path' = 'hdfs://master:8020/data/hudi/students',
  'table.type' = 'MERGE_ON_READ'
);

-- 插入数据
insert into students_hudi
values('1500100003','施小还',23,'女','文科六班');
相关推荐
听风3472 小时前
Arch Linux 软件安装完全指南
linux·运维·archlinux·pacman
韩楚风3 小时前
【参天引擎】一次宕机后的数据恢复,让我把 Cantian 持久化与恢复的六大机制全搞明白了
服务器·网络·数据库·分布式·mysql·架构·cantian
网络安全零基础教程3 小时前
网络安全春招面试避坑与复盘指南
linux·网络·安全·web安全·面试·职场和发展
kirs_ur3 小时前
SSD 安全特性 — 加密与 TCG Opal
服务器·网络·安全
智购科技智能售货柜3 小时前
无人售货机连不上服务器?MQTT 频繁掉线排查全流程~YH
运维·服务器
扛枪的书生3 小时前
TigerVNC 安装流程
linux
Mortalbreeze3 小时前
深入 Linux Socket 编程:端口号、网络字节序与 struct sockaddr 详解
linux·服务器·网络·c++
躺柒4 小时前
读半导体简史08大型机
linux·服务器·c语言·数据库·unix·ibm
井川廊咏4 小时前
【总集篇】Linux | 如何创建一个 home 目录在 /data 磁盘的 sudo 用户(补档)
linux·运维·服务器
Kina_C4 小时前
LVS负载均衡的十二种核心调度算法
linux·运维·算法·负载均衡·lvs