Flink整合Hudi及使用

1、jar包上传

上传jar包即可完成整合

bash 复制代码
# 1、将hudi-flink1.15-bundle-0.15.0.jar包上传到flink的lib目录下
/usr/local/soft/flink-1.15.3/lib

-- 如果没有启动集群,直接忽略
#  2、重启flink的集群
yarn application -list
yarn application -kill application_1706339492248_0003
yarn-session.sh -d

# 重启命令行
sql-client.sh

2、使用

sql 复制代码
-- 创建表
CREATE TABLE students_hudi(
    id STRING PRIMARY KEY NOT ENFORCED,
    name STRING,
    age INT,
    sex STRING,
    clazz STRING
)
PARTITIONED BY (clazz)
WITH (
  'connector' = 'hudi',
  'path' = 'hdfs://master:8020/data/hudi/students',
  'table.type' = 'MERGE_ON_READ'
);

-- 插入数据
insert into students_hudi
values('1500100003','施小还',23,'女','文科六班');
相关推荐
weixin_4166679613 分钟前
【无标题】
运维·服务器·网络
一池秋_1 小时前
arm低配linux设备,桌面应用冷启动提速方法
linux·运维·arm开发
惜离殇1 小时前
从零开始的敲代码生活--Linux应用软件(文件操作基础1)
linux·c语言·文件操作·标准io
上海云盾-小余3 小时前
流量攻击复盘:为什么 WAF 完好,业务依旧瘫痪
运维·服务器·网络
闲云野鹤在人间3 小时前
OpenStack架构介绍和安装流程
linux·网络·架构·openstack
我命由我123454 小时前
Linux - Linux/POSIX 路径斜杠折叠规则
linux·运维·服务器·android studio·android jetpack·android-studio·android runtime
xx~t4 小时前
嵌入式——Linux软件编程——网络1
linux·c语言·网络·vscode·网络协议
Uncertainty!!5 小时前
Linux 主机无法完成校园网认证排查记录:从 DHCP、ARP 到 Portal 认证流程分析
linux·运维·服务器
神威难绷泪5 小时前
Linux消息队列 & 共享内存 笔记
linux·消息队列·共享内存
其实防守也摸鱼5 小时前
权限提升与横向移动:从内网渗透到域控的完整技术图谱
运维·服务器·数据库·安全·github·copilot·渗透