Flume采集Kafka数据到Hive

版本:

Kafka:2.4.1

Flume:1.9.0

Hive:3.1.0

Kafka主题准备:

Hive表准备:确保hive表为:分区分桶、orc存储、开启事务

Flume准备:

配置flume文件:

/opt/datasophon/flume-1.9.0/conf/kafka2hive.conf

需要将hive的jar包同步到flume的lib目录下:

/opt/datasophon/hive-3.1.0/hcatalog/share/hcatalog/hive-hcatalog-streaming-3.1.0.jar

切换到flume的bin目录下,运行配置文件

启动Kafka写入数据

监控flume页面情况

去hive数据表进行数据查看,数据成功同步过来。

相关推荐
小森饭3 小时前
Kubernetes运行大数据组件-运行hive
大数据·hive·云原生·kubernetes
ok你也是个coder3 小时前
Kafka 基础入门
分布式·kafka·mq·kafka入门
Mephisto.java3 小时前
【力扣 | SQL题 | 每日4题】力扣2004, 1454,1613,1709
hive·sql·mysql·leetcode·oracle·database
给我整点护发素5 小时前
Flume的安装及使用
大数据·flume
陈序缘7 小时前
Rust实现Kafka - 前言
开发语言·分布式·后端·职场和发展·rust·kafka
Mephisto.java12 小时前
【大数据学习 | kafka】kafka的shell操作
大数据·学习·kafka
mysql学习中13 小时前
hive修改表操作与array类型
大数据·数据仓库·hive·hadoop·hdfs·mapreduce
MinIO官方账号16 小时前
使用 Kafka 和 MinIO 实现人工智能数据工作流
人工智能·microsoft·kafka
java1234_小锋1 天前
Kafka 与传统 MQ 消息系统之间有三个关键区别?
分布式·kafka