Flume采集Kafka数据到Hive

版本:

Kafka:2.4.1

Flume:1.9.0

Hive:3.1.0

Kafka主题准备:

Hive表准备:确保hive表为:分区分桶、orc存储、开启事务

Flume准备:

配置flume文件:

/opt/datasophon/flume-1.9.0/conf/kafka2hive.conf

需要将hive的jar包同步到flume的lib目录下:

/opt/datasophon/hive-3.1.0/hcatalog/share/hcatalog/hive-hcatalog-streaming-3.1.0.jar

切换到flume的bin目录下,运行配置文件

启动Kafka写入数据

监控flume页面情况

去hive数据表进行数据查看,数据成功同步过来。

相关推荐
费曼乐园3 小时前
Kafka中bin目录下面kafka-run-class.sh脚本中的JAVA_HOME
java·kafka
Shinobi_Jack3 小时前
c#使用Confluent.Kafka实现生产者发送消息至kafka(远程连接kafka发送消息超时的解决 Local:Message timed out)
分布式·kafka
viperrrrrrrrrr710 小时前
大数据学习(36)- Hive和YARN
大数据·hive·学习
费曼乐园11 小时前
Kafka与ZooKeeper
zookeeper·kafka
重生之Java再爱我一次13 小时前
Hive部署
数据仓库·hive·hadoop
小白的一叶扁舟14 小时前
Kafka 入门与应用实战:吞吐量优化与与 RabbitMQ、RocketMQ 的对比
java·spring boot·kafka·rabbitmq·rocketmq
霍格沃兹测试开发学社测试人社区14 小时前
软件测试丨消息管道(Kafka)测试体系
软件测试·分布式·测试开发·kafka
weisian15116 小时前
消息队列篇--原理篇--RocketMQ和Kafka对比分析
分布式·kafka·rocketmq
黄名富1 天前
Kafka 日志存储 — 日志索引
java·分布式·微服务·kafka
村口蹲点的阿三1 天前
Spark SQL 中对 Map 类型的操作函数
javascript·数据库·hive·sql·spark