Flink整合Hudi及使用

1、jar包上传

上传jar包即可完成整合

bash 复制代码
# 1、将hudi-flink1.15-bundle-0.15.0.jar包上传到flink的lib目录下
/usr/local/soft/flink-1.15.3/lib

-- 如果没有启动集群,直接忽略
#  2、重启flink的集群
yarn application -list
yarn application -kill application_1706339492248_0003
yarn-session.sh -d

# 重启命令行
sql-client.sh

2、使用

sql 复制代码
-- 创建表
CREATE TABLE students_hudi(
    id STRING PRIMARY KEY NOT ENFORCED,
    name STRING,
    age INT,
    sex STRING,
    clazz STRING
)
PARTITIONED BY (clazz)
WITH (
  'connector' = 'hudi',
  'path' = 'hdfs://master:8020/data/hudi/students',
  'table.type' = 'MERGE_ON_READ'
);

-- 插入数据
insert into students_hudi
values('1500100003','施小还',23,'女','文科六班');
相关推荐
今天AI了吗几秒前
AI 数据安全治理框架:模型能力与数据权限的边界在哪里
java·linux·开发语言·人工智能·python·深度学习·机器学习
不一样的少年_5 分钟前
Docker 容器操作:运行、停止、查看与删除
linux·docker·容器
不一样的少年_12 分钟前
Docker 入门第一课:从架构、云服务器到安装完成
linux·docker·云计算
M78佐菲13 分钟前
Linux学习笔记:目录IO与帧缓冲
linux·笔记·学习·算法
三84423 分钟前
WordPress SQL 注入漏洞分析:从 author__not_in 参数到 REST API 全链路
linux·前端·数据库
SCandL15227 分钟前
k8s工作原理
linux·运维·服务器
优梦创客28 分钟前
游戏开发架构选型:第3篇|从单机足球到联网游戏:主程级架构与热更新
服务器·架构·游戏开发·游戏架构
weixin_4445793033 分钟前
Rockylinux 与 K8s 的安装
linux·云原生·容器·kubernetes
听风34736 分钟前
Arch Linux 包管理 TUI 工具集
linux·服务器·archlinux
头茬韭菜39 分钟前
功能点 9:Flink Connector
大数据·flink·fluss