Flume采集Kafka数据到Hive

版本:

Kafka:2.4.1

Flume:1.9.0

Hive:3.1.0

Kafka主题准备:

Hive表准备:确保hive表为:分区分桶、orc存储、开启事务

Flume准备:

配置flume文件:

/opt/datasophon/flume-1.9.0/conf/kafka2hive.conf

需要将hive的jar包同步到flume的lib目录下:

/opt/datasophon/hive-3.1.0/hcatalog/share/hcatalog/hive-hcatalog-streaming-3.1.0.jar

切换到flume的bin目录下,运行配置文件

启动Kafka写入数据

监控flume页面情况

去hive数据表进行数据查看,数据成功同步过来。

相关推荐
q***064716 分钟前
Spring Boot 从 2.7.x 升级到 3.3注意事项
数据库·hive·spring boot
Sinowintop4 小时前
易连EDI-EasyLink无缝集成之消息队列Kafka
分布式·网络协议·kafka·集成·国产化·as2·国产edi
心止水j4 小时前
hive分区
数据仓库·hive·hadoop
心止水j4 小时前
Hive 桶表的创建、数据导入、查询与导出
数据仓库·hive·hadoop
佛祖让我来巡山4 小时前
Kafka入门:从初识到Spring Boot实战
kafka·kafka入门·kafka案例
二进制_博客7 小时前
eventTime+watermarker+allowedLateness到底窗口关闭时间是什么?
flink·kafka
2501_941877981 天前
Python在微服务高并发异步日志聚合与智能告警分析架构中的实践
kafka
8***a8151 天前
从0到1部署Tomcat和添加servlet(IDEA2024最新版详细教程)
hive·servlet·tomcat
最笨的羊羊1 天前
Flink CDC系列之:Kafka CSV 序列化器CsvSerializationSchema
kafka·csv·schema·flink cdc系列·serialization·序列化器
最笨的羊羊1 天前
Flink CDC系列之:Kafka的Debezium JSON 结构定义类DebeziumJsonStruct
kafka·debezium·flink cdc系列·debezium json·结构定义类·jsonstruct