Flink整合Hudi及使用

1、jar包上传

上传jar包即可完成整合

bash 复制代码
# 1、将hudi-flink1.15-bundle-0.15.0.jar包上传到flink的lib目录下
/usr/local/soft/flink-1.15.3/lib

-- 如果没有启动集群,直接忽略
#  2、重启flink的集群
yarn application -list
yarn application -kill application_1706339492248_0003
yarn-session.sh -d

# 重启命令行
sql-client.sh

2、使用

sql 复制代码
-- 创建表
CREATE TABLE students_hudi(
    id STRING PRIMARY KEY NOT ENFORCED,
    name STRING,
    age INT,
    sex STRING,
    clazz STRING
)
PARTITIONED BY (clazz)
WITH (
  'connector' = 'hudi',
  'path' = 'hdfs://master:8020/data/hudi/students',
  'table.type' = 'MERGE_ON_READ'
);

-- 插入数据
insert into students_hudi
values('1500100003','施小还',23,'女','文科六班');
相关推荐
孙克旭_1 小时前
PXE_Kickstart_无人值守自动化安装系统
linux·运维·自动化
皓月盈江2 小时前
Linux电脑本机使用小皮面板集成环境开发调试WEB项目
linux·php·web开发·phpstudy·小皮面板·集成环境·www.xp.cn
深井冰水2 小时前
mac M2能安装的虚拟机和linux系统系统
linux·macos
leoufung2 小时前
内核内存锁定机制与用户空间内存锁定的交互分析
linux·kernel
菜菜why3 小时前
AutoDL租用服务器教程
服务器
IT专业服务商3 小时前
联想 SR550 服务器,配置 RAID 5教程!
运维·服务器·windows·microsoft·硬件架构
忧虑的乌龟蛋4 小时前
嵌入式Linux I2C驱动开发详解
linux·驱动开发·嵌入式·iic·i2c·读数据·写数据
I_Scholar5 小时前
OPENSSL-1.1.1的使用及注意事项
linux·ssl
Johny_Zhao5 小时前
K8S+nginx+MYSQL+TOMCAT高可用架构企业自建网站
linux·网络·mysql·nginx·网络安全·信息安全·tomcat·云计算·shell·yum源·系统运维·itsm
稳联技术5 小时前
Ethercat转Profinet网关如何用“协议翻译术“打通自动化产线任督二脉
linux·服务器·网络