Flink整合Hudi及使用

1、jar包上传

上传jar包即可完成整合

bash 复制代码
# 1、将hudi-flink1.15-bundle-0.15.0.jar包上传到flink的lib目录下
/usr/local/soft/flink-1.15.3/lib

-- 如果没有启动集群,直接忽略
#  2、重启flink的集群
yarn application -list
yarn application -kill application_1706339492248_0003
yarn-session.sh -d

# 重启命令行
sql-client.sh

2、使用

sql 复制代码
-- 创建表
CREATE TABLE students_hudi(
    id STRING PRIMARY KEY NOT ENFORCED,
    name STRING,
    age INT,
    sex STRING,
    clazz STRING
)
PARTITIONED BY (clazz)
WITH (
  'connector' = 'hudi',
  'path' = 'hdfs://master:8020/data/hudi/students',
  'table.type' = 'MERGE_ON_READ'
);

-- 插入数据
insert into students_hudi
values('1500100003','施小还',23,'女','文科六班');
相关推荐
CodexDave2 分钟前
数据库连接池耗尽:排查顺序与三层兜底
服务器·前端·数据库·git·云原生·容器·kubernetes
weixin_307779132 分钟前
Linux下Jenkins数据故障的系统化排查Shell脚本
linux·运维·服务器·jenkins
荒--11 分钟前
Burp Suite(二)
linux·运维·服务器
土星云SaturnCloud1 小时前
MP_SENet轻量语音降噪模型在土星云边缘设备的部署实战
服务器·人工智能·ai·边缘计算·语音识别
abcy0712131 小时前
flink 对齐与非对齐,窗口,状态state原理详解
大数据·flink
internet Boy1 小时前
服务器机房硬件入门教程
运维·服务器
小白还菜1 小时前
linux(Debian)使用mdadm组磁盘RAID1阵列
linux·运维
三8441 小时前
BGP/BGP路由反射器/联邦/BGP属性/BGP选路
运维·服务器·网络
2301_794461572 小时前
Activiti/BPMN 2.0 的 4 种网关
java·服务器·开发语言
不怕犯错,就怕不做2 小时前
GIT的简单打patch应用format-patch and git am
linux·git·全文检索