Flume采集Kafka数据到Hive

版本:

Kafka:2.4.1

Flume:1.9.0

Hive:3.1.0

Kafka主题准备:

Hive表准备:确保hive表为:分区分桶、orc存储、开启事务

Flume准备:

配置flume文件:

/opt/datasophon/flume-1.9.0/conf/kafka2hive.conf

需要将hive的jar包同步到flume的lib目录下:

/opt/datasophon/hive-3.1.0/hcatalog/share/hcatalog/hive-hcatalog-streaming-3.1.0.jar

切换到flume的bin目录下,运行配置文件

启动Kafka写入数据

监控flume页面情况

去hive数据表进行数据查看,数据成功同步过来。

相关推荐
Aspirin_Slash7 小时前
docker-compose部署kafka with kraft 配置内网公网同时访问
kafka
君不见,青丝成雪8 小时前
大数据技术栈 —— Redis与Kafka
数据库·redis·kafka
Fireworkitte1 天前
Kafka的ISR、OSR、AR详解
分布式·kafka·ar
Fireworkitte1 天前
org.apache.kafka.clients 和 org.springframework.kafka 的区别
kafka·apache
步行cgn2 天前
在 HTML 表单中,name 和 value 属性在 GET 和 POST 请求中的对应关系如下:
前端·hive·html
喂完待续2 天前
【Tech Arch】Hive技术解析:大数据仓库的SQL桥梁
大数据·数据仓库·hive·hadoop·sql·apache
yh云想3 天前
《从入门到精通:Kafka核心原理全解析》
分布式·kafka
武子康3 天前
大数据-70 Kafka 日志清理:删除、压缩及混合模式最佳实践
大数据·后端·kafka
花酒锄作田4 天前
Nginx反向代理Kafka集群
nginx·kafka
武子康4 天前
大数据-69 Kafka 存储结构解析:日志文件与索引文件的内部机制
大数据·后端·kafka