Flume采集Kafka数据到Hive

版本:

Kafka:2.4.1

Flume:1.9.0

Hive:3.1.0

Kafka主题准备:

Hive表准备:确保hive表为:分区分桶、orc存储、开启事务

Flume准备:

配置flume文件:

/opt/datasophon/flume-1.9.0/conf/kafka2hive.conf

需要将hive的jar包同步到flume的lib目录下:

/opt/datasophon/hive-3.1.0/hcatalog/share/hcatalog/hive-hcatalog-streaming-3.1.0.jar

切换到flume的bin目录下,运行配置文件

启动Kafka写入数据

监控flume页面情况

去hive数据表进行数据查看,数据成功同步过来。

相关推荐
尘客.1 小时前
DataX从Mysql导数据到Hive分区表案例
数据库·hive·mysql
predisw3 小时前
kafka connect 大概了解
分布式·kafka
张伯毅10 小时前
Flink SQL 将kafka topic的数据写到另外一个topic里面
sql·flink·kafka
Will_113016 小时前
kafka调优
分布式·kafka
0吉光片羽01 天前
【SpringBoot】集成kafka之生产者、消费者、幂等性处理和消息积压
spring boot·kafka·linq
找不到、了1 天前
MQ消息队列的深入研究
kafka·java-rocketmq·java-rabbitmq·java-activemq
菜菜菜小狗1 天前
kafka----初步安装与配置
kafka
钊兵1 天前
hivesql是什么数据库?
大数据·hive
predisw1 天前
Kafka如何实现高性能
分布式·kafka
£菜鸟也有梦2 天前
Kafka进阶指南:从原理到实战
大数据·kafka