Flume采集Kafka数据到Hive

版本:

Kafka:2.4.1

Flume:1.9.0

Hive:3.1.0

Kafka主题准备:

Hive表准备:确保hive表为:分区分桶、orc存储、开启事务

Flume准备:

配置flume文件:

/opt/datasophon/flume-1.9.0/conf/kafka2hive.conf

需要将hive的jar包同步到flume的lib目录下:

/opt/datasophon/hive-3.1.0/hcatalog/share/hcatalog/hive-hcatalog-streaming-3.1.0.jar

切换到flume的bin目录下,运行配置文件

启动Kafka写入数据

监控flume页面情况

去hive数据表进行数据查看,数据成功同步过来。

相关推荐
珹洺1 小时前
Java-servlet(完结篇)过滤器乱码解决与监听器
java·运维·服务器·hive·servlet·jsp
sunxunyong16 小时前
hive/doris查询表的创建和更新时间
数据仓库·hive·hadoop
明天过后ww19 小时前
RocketMQ和kafka 的区别
分布式·kafka·rocketmq
一个天蝎座 白勺 程序猿19 小时前
大数据(7.3)Kafka量子安全加密实践指南:构建抗量子计算攻击的消息系统
大数据·安全·kafka·量子计算
信徒_20 小时前
Kafka 的选举机制
分布式·kafka
shepherd1111 天前
从零搭建高可用Kafka集群与EFAK监控平台:全流程实战总结
分布式·后端·kafka
小钻风33661 天前
JavaWeb注解的原理
数据仓库·hive·hadoop
敏君宝爸1 天前
prometheus整合jmx_exporter 使用jmx_exporter监控Kafka
分布式·kafka·prometheus
IT成长日记1 天前
【Kafka基础】生产者命令行操作指南:从基础到高级配置
分布式·kafka·生产者命令行
Familyism1 天前
消息中间件篇——RabbitMQ,Kafka
分布式·kafka·rabbitmq