版本:
Kafka:2.4.1
Flume:1.9.0
Hive:3.1.0
Kafka主题准备:

Hive表准备:确保hive表为:分区分桶、orc存储、开启事务

Flume准备:
配置flume文件:
/opt/datasophon/flume-1.9.0/conf/kafka2hive.conf
需要将hive的jar包同步到flume的lib目录下:
/opt/datasophon/hive-3.1.0/hcatalog/share/hcatalog/hive-hcatalog-streaming-3.1.0.jar

切换到flume的bin目录下,运行配置文件

启动Kafka写入数据


监控flume页面情况

去hive数据表进行数据查看,数据成功同步过来。
