Flink整合Hudi及使用

1、jar包上传

上传jar包即可完成整合

bash 复制代码
# 1、将hudi-flink1.15-bundle-0.15.0.jar包上传到flink的lib目录下
/usr/local/soft/flink-1.15.3/lib

-- 如果没有启动集群,直接忽略
#  2、重启flink的集群
yarn application -list
yarn application -kill application_1706339492248_0003
yarn-session.sh -d

# 重启命令行
sql-client.sh

2、使用

sql 复制代码
-- 创建表
CREATE TABLE students_hudi(
    id STRING PRIMARY KEY NOT ENFORCED,
    name STRING,
    age INT,
    sex STRING,
    clazz STRING
)
PARTITIONED BY (clazz)
WITH (
  'connector' = 'hudi',
  'path' = 'hdfs://master:8020/data/hudi/students',
  'table.type' = 'MERGE_ON_READ'
);

-- 插入数据
insert into students_hudi
values('1500100003','施小还',23,'女','文科六班');
相关推荐
志栋智能2 分钟前
当巡检遇上超自动化:一场运维质量的系统性升级
运维·服务器·网络·数据库·人工智能·机器学习·自动化
星辰徐哥9 分钟前
CDN工作原理:节点缓存、智能调度,减少跨网传输延迟
服务器·缓存·php
Fanfanaas9 分钟前
Linux 系统编程 进程篇(一)
linux·运维·服务器·c语言·开发语言·网络·学习
念恒1230616 分钟前
ROS2入门
linux·运维·服务器
.select.26 分钟前
TCP 8 (拥塞控制)
服务器·网络·tcp/ip
小糖学代码32 分钟前
LLM系列:1.python入门:6.元组型对象(tuple)
linux·运维·服务器·python
晴天¥41 分钟前
使用Openfiler为达梦数据库集群搭建共享存储
运维·服务器·存储
Saniffer_SH44 分钟前
【市场洞察】一叶知秋 - 从2026年开年Quarch公司PCIe 6.0测试工具销售状况说起
服务器·人工智能·嵌入式硬件·测试工具·fpga开发·自动化·压力测试
云淡风轻~窗明几净1 小时前
ubuntu的lazarus的Tline/TeaLine组件的构思
linux·数据库·ubuntu
小宋0011 小时前
ROS2 安装指南(Ubuntu 22.04+Humble)
linux·运维·ubuntu