Flume采集Kafka数据到Hive

版本:

Kafka:2.4.1

Flume:1.9.0

Hive:3.1.0

Kafka主题准备:

Hive表准备:确保hive表为:分区分桶、orc存储、开启事务

Flume准备:

配置flume文件:

/opt/datasophon/flume-1.9.0/conf/kafka2hive.conf

需要将hive的jar包同步到flume的lib目录下:

/opt/datasophon/hive-3.1.0/hcatalog/share/hcatalog/hive-hcatalog-streaming-3.1.0.jar

切换到flume的bin目录下,运行配置文件

启动Kafka写入数据

监控flume页面情况

去hive数据表进行数据查看,数据成功同步过来。

相关推荐
茶本无香10 小时前
kafka+spring cloud stream 发送接收消息
spring cloud·kafka·java-zookeeper
知初~17 小时前
出行项目案例
hive·hadoop·redis·sql·mysql·spark·database
xiao-xiang1 天前
kafka-保姆级配置说明(producer)
分布式·kafka
被程序耽误的胡先生1 天前
java中 kafka简单应用
java·开发语言·kafka
2501_903238651 天前
深入理解 Kafka 主题分区机制
分布式·kafka·个人开发
ezreal_pan1 天前
kafka消费能力压测:使用官方工具
分布式·kafka
xiao-xiang1 天前
kafka-集群缩容
分布式·kafka
比花花解语1 天前
Kafka在Windows系统使用delete命令删除Topic时出现的问题
windows·分布式·kafka
解决方案工程师1 天前
【Kafka】Kafka高性能解读
分布式·kafka
yellowatumn1 天前
RocketMq\Kafka如何保障消息不丢失?
分布式·kafka·rocketmq