Flume采集Kafka数据到Hive

版本:

Kafka:2.4.1

Flume:1.9.0

Hive:3.1.0

Kafka主题准备:

Hive表准备:确保hive表为:分区分桶、orc存储、开启事务

Flume准备:

配置flume文件:

/opt/datasophon/flume-1.9.0/conf/kafka2hive.conf

需要将hive的jar包同步到flume的lib目录下:

/opt/datasophon/hive-3.1.0/hcatalog/share/hcatalog/hive-hcatalog-streaming-3.1.0.jar

切换到flume的bin目录下,运行配置文件

启动Kafka写入数据

监控flume页面情况

去hive数据表进行数据查看,数据成功同步过来。

相关推荐
真实的菜1 小时前
Kafka生态整合深度解析:构建现代化数据架构的核心枢纽
架构·kafka·linq
桂成林6 小时前
Hive UDF 开发实战:MD5 哈希函数实现
hive·hadoop·哈希算法
茫茫人海一粒沙1 天前
理解 Confluent Schema Registry:Kafka 生态中的结构化数据守护者
分布式·kafka
王小王-1231 天前
基于Hadoop的餐饮大数据分析系统的设计与实现
hive·hadoop·flask·sqoop·pyecharts·hadoop餐饮大数据分析·hadoop美食数据分析
dessler1 天前
Kafka-消费者(Consumer)和消费者组(Consumer Group)
linux·运维·kafka
虚!!!看代码1 天前
【Kafka使用方式以及原理】
分布式·kafka
找不到、了11 天前
kafka消费的模式及消息积压处理方案
java·kafka
超级小忍11 天前
Spring Boot 集成 Apache Kafka 实战指南
spring boot·kafka·apache
張萠飛11 天前
hive集群优化和治理常见的问题答案
数据仓库·hive·hadoop
小韩加油呀11 天前
logstash读取kafka日志写到oss归档存储180天
kafka·logstash