Flume采集Kafka数据到Hive

版本:

Kafka:2.4.1

Flume:1.9.0

Hive:3.1.0

Kafka主题准备:

Hive表准备:确保hive表为:分区分桶、orc存储、开启事务

Flume准备:

配置flume文件:

/opt/datasophon/flume-1.9.0/conf/kafka2hive.conf

需要将hive的jar包同步到flume的lib目录下:

/opt/datasophon/hive-3.1.0/hcatalog/share/hcatalog/hive-hcatalog-streaming-3.1.0.jar

切换到flume的bin目录下,运行配置文件

启动Kafka写入数据

监控flume页面情况

去hive数据表进行数据查看,数据成功同步过来。

相关推荐
满目山河•2 小时前
二、复制三台虚拟机
hive·hadoop·hbase
howard20057 小时前
Hive实战任务 - 9.3 实现学生信息排序和统计
hive·排序·汇总·学生信息
番茄撒旦在上7 小时前
什么样的表适合做拉链表
大数据·数据仓库·hive
howard20058 小时前
Hive实战任务 - 9.5 实现网址去重
hive·网址去重
howard20058 小时前
Hive实战任务 - 9.4 分科汇总求月考平均分
hive·分科汇总月考平均分
山沐与山9 小时前
【MQ】Kafka与RocketMQ深度对比
分布式·kafka·rocketmq
howard20059 小时前
Hive实战任务 - 9.2 统计总分与平均分
hive·统计总分与平均分
yumgpkpm11 小时前
Cloudera CDP7、CDH5、CDH6 在华为鲲鹏 ARM 麒麟KylinOS做到无缝切换平缓迁移过程
大数据·arm开发·华为·flink·spark·kafka·cloudera
树下水月11 小时前
Easyoole 使用rdkafka 进行kafka的创建topic创建 删除 以及数据发布 订阅
分布式·kafka
Cat God 00711 小时前
基于Docker搭建kafka集群
docker·容器·kafka