Flume采集Kafka数据到Hive

版本:

Kafka:2.4.1

Flume:1.9.0

Hive:3.1.0

Kafka主题准备:

Hive表准备:确保hive表为:分区分桶、orc存储、开启事务

Flume准备:

配置flume文件:

/opt/datasophon/flume-1.9.0/conf/kafka2hive.conf

需要将hive的jar包同步到flume的lib目录下:

/opt/datasophon/hive-3.1.0/hcatalog/share/hcatalog/hive-hcatalog-streaming-3.1.0.jar

切换到flume的bin目录下,运行配置文件

启动Kafka写入数据

监控flume页面情况

去hive数据表进行数据查看,数据成功同步过来。

相关推荐
1.01^10004 小时前
[7-01-02].第05节:环境搭建 - 基础环境
kafka
Jabes.yang1 天前
Java求职面试:从Spring Boot到Kafka的技术探讨
java·spring boot·面试·kafka·互联网大厂
还是大剑师兰特1 天前
Kafka 面试题及详细答案100道(91-95)-- 问题排查与解决方案1
kafka·大剑师·kafka面试题·kafka教程
不太可爱的叶某人2 天前
【学习笔记】kafka权威指南——第10章 监控kafka (7-10章只做了解)
笔记·学习·kafka
不太可爱的叶某人2 天前
【学习笔记】kafka权威指南——第6章 可靠的数据传递
笔记·学习·kafka
稚辉君.MCA_P8_Java2 天前
kafka解决了什么问题?mmap 和sendfile
java·spring boot·分布式·kafka·kubernetes
森林猿2 天前
docker-compose-kafka 4.1.0
docker·容器·kafka
工作中的程序员2 天前
hive sql优化基础
hive·sql
风跟我说过她3 天前
Sqoop的安装与配置
hive·hadoop·经验分享·centos·hbase·sqoop