大数据环境(单机版) Flume传输数据到Kafka

文章目录


前言

flume监控指定目录,传输数据到kafka


一、准备

复制代码
flume-1.10.1
kafka_2.11-2.4.1
zookeeper-3.4.13

二、安装

使用命令 tar -zxf 分别解压到指定目录

三、配置环境变量

bash 复制代码
vi ~/.bash_profile
bash 复制代码
export FLUME_HOME=/home/hadoop/install/flume-1.10.1
export PATH=$FLUME_HOME/bin:$PATH

export ZOOKEEPER_HOME=/home/hadoop/install/zookeeper-3.4.13
export PATH=$ZOOKEEPER_HOME/bin:$PATH

export KAFKA_HOME=/home/hadoop/install/kafka_2.11-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin
bash 复制代码
# 使配置生效
source ~/.bash_profile

四、修改配置

4.1、kafka配置

修改zk地址

bash 复制代码
vi $KAFKA_HOME/config/server.properties

修改zk的连接地址

zookeeper.connect=localhost:2181

4.2、Flume配置

拷贝配置

bash 复制代码
cp $FLUME_HOME/config/flume-conf.properties.template $FLUME_HOME/config/flume-conf.properties

编辑配置

bash 复制代码
vi $FLUME_HOME/config/flume-conf.properties

增加如下配置

bash 复制代码
# 增加如下配置
a1.sources = r1
a1.channels = c1

a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1
# 这个目录是 flume监控的目录
a1.sources.r1.filegroups.f1 = /home/hadoop/install/temp/flume/applog/log/app.*
a1.sources.r1.positionFile = /home/hadoop/install/temp/flume/json/taildir_position.json

a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = localhost:9092
# kafka的主题
a1.channels.c1.kafka.topic = topic_log
# 不把数据解析为 Flume的Event,kafka原样接收
a1.channels.c1.parseAsFlumeEvent = false

a1.sources.r1.channels = c1

五、启动程序

5.1、启动zk

bash 复制代码
zkServer.sh start

5.2、启动kafka

bash 复制代码
sh kafka-server-start.sh /home/hadoop/install/kafka_2.11-2.4.1/config/server.properties &

5.3、启动flume

bash 复制代码
flume-ng agent -c conf -f conf/flume-netcat-conf.properties -n a1 -Dflume.root.logger=INFO,console &

六、测试

6.1、启动一个kafka终端,用来消费消息

bash 复制代码
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_log

6.2、写入日志

bash 复制代码
echo {"a":"b1"} >> /home/hadoop/install/temp/flume/applog/log/app.log
echo {"a":"b2"} >> /home/hadoop/install/temp/flume/applog/log/app.log

其他

软件下载

相关推荐
陆水A8 分钟前
数仓主题域划分
大数据·数据仓库·数据库开发·etl·etl工程师
道一云黑板报8 分钟前
Spark初探:揭秘速度优势与生态融合实践
大数据·分布式·spark·流式处理
字节跳动数据平台1 小时前
火山引擎多模态数据湖:AI时代的数据湖如何挖掘图片、视频、语音的“富矿”?
大数据
野生技术架构师1 小时前
系统改造:一次系统领域拆分的实战复盘
java·大数据·开发语言
时序数据说3 小时前
分布式时序数据库的特点解析
大数据·数据库·分布式·物联网·时序数据库·iotdb
WJ.Polar3 小时前
Python与Spark
大数据·分布式·spark
喻师傅4 小时前
Spark SQL 数组函数合集:array_agg、array_contains、array_sort…详解
大数据·hadoop·分布式·sql·spark
isNotNullX5 小时前
主数据管理系统能代替数据中台吗?
大数据·数据仓库·人工智能·数据分析·etl
lingling0095 小时前
艾利特机器人:光伏机器人如何重塑清洁能源制造新格局
大数据·人工智能·算法
新讯网5 小时前
智合新材携先进陶瓷材料亮相2025西安先进制造及国防科技产业博览会
大数据·人工智能·制造