Flume采集Kafka数据到Hive

版本:

Kafka:2.4.1

Flume:1.9.0

Hive:3.1.0

Kafka主题准备:

Hive表准备:确保hive表为:分区分桶、orc存储、开启事务

Flume准备:

配置flume文件:

/opt/datasophon/flume-1.9.0/conf/kafka2hive.conf

需要将hive的jar包同步到flume的lib目录下:

/opt/datasophon/hive-3.1.0/hcatalog/share/hcatalog/hive-hcatalog-streaming-3.1.0.jar

切换到flume的bin目录下,运行配置文件

启动Kafka写入数据

监控flume页面情况

去hive数据表进行数据查看,数据成功同步过来。

相关推荐
Java识堂2 小时前
Kafka 如何保证消息的可靠性投递?
分布式·kafka
NineData3 小时前
还在轮询 MySQL 吗?用 NineData 把业务变更直接送进 Kafka
数据库·mysql·kafka·ninedata·数据复制·玖章算术·数据迁移工具
Devin~Y3 小时前
大厂Java面试实录:Spring Boot微服务 + Redis/Kafka + Prometheus/Jaeger + RAG/Agent(小Y水货版)
java·spring boot·redis·spring cloud·kafka·prometheus·jaeger
修先生21 小时前
Hive Udf函数AES加密
hive·aes·udf
列星随旋1 天前
Kafka基础篇
分布式·kafka
Jackyzhe1 天前
从零学习Kafka:生产者压缩
分布式·学习·kafka
一只普通的码农1 天前
kafka在windows环境部署
分布式·kafka
bqq198610261 天前
Kafka高效的原因
缓存·kafka
Kiyra1 天前
异步任务不用 Kafka 也行:用 Redis Stream 搭一套轻量级 Producer/Consumer 框架
数据库·人工智能·redis·分布式·后端·缓存·kafka
面向Google编程1 天前
从零学习Kafka:幂等与事务
大数据·kafka