大数据环境(单机版) Flume传输数据到Kafka

文章目录


前言

flume监控指定目录,传输数据到kafka


一、准备

复制代码
flume-1.10.1
kafka_2.11-2.4.1
zookeeper-3.4.13

二、安装

使用命令 tar -zxf 分别解压到指定目录

三、配置环境变量

bash 复制代码
vi ~/.bash_profile
bash 复制代码
export FLUME_HOME=/home/hadoop/install/flume-1.10.1
export PATH=$FLUME_HOME/bin:$PATH

export ZOOKEEPER_HOME=/home/hadoop/install/zookeeper-3.4.13
export PATH=$ZOOKEEPER_HOME/bin:$PATH

export KAFKA_HOME=/home/hadoop/install/kafka_2.11-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin
bash 复制代码
# 使配置生效
source ~/.bash_profile

四、修改配置

4.1、kafka配置

修改zk地址

bash 复制代码
vi $KAFKA_HOME/config/server.properties

修改zk的连接地址

zookeeper.connect=localhost:2181

4.2、Flume配置

拷贝配置

bash 复制代码
cp $FLUME_HOME/config/flume-conf.properties.template $FLUME_HOME/config/flume-conf.properties

编辑配置

bash 复制代码
vi $FLUME_HOME/config/flume-conf.properties

增加如下配置

bash 复制代码
# 增加如下配置
a1.sources = r1
a1.channels = c1

a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1
# 这个目录是 flume监控的目录
a1.sources.r1.filegroups.f1 = /home/hadoop/install/temp/flume/applog/log/app.*
a1.sources.r1.positionFile = /home/hadoop/install/temp/flume/json/taildir_position.json

a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = localhost:9092
# kafka的主题
a1.channels.c1.kafka.topic = topic_log
# 不把数据解析为 Flume的Event,kafka原样接收
a1.channels.c1.parseAsFlumeEvent = false

a1.sources.r1.channels = c1

五、启动程序

5.1、启动zk

bash 复制代码
zkServer.sh start

5.2、启动kafka

bash 复制代码
sh kafka-server-start.sh /home/hadoop/install/kafka_2.11-2.4.1/config/server.properties &

5.3、启动flume

bash 复制代码
flume-ng agent -c conf -f conf/flume-netcat-conf.properties -n a1 -Dflume.root.logger=INFO,console &

六、测试

6.1、启动一个kafka终端,用来消费消息

bash 复制代码
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_log

6.2、写入日志

bash 复制代码
echo {"a":"b1"} >> /home/hadoop/install/temp/flume/applog/log/app.log
echo {"a":"b2"} >> /home/hadoop/install/temp/flume/applog/log/app.log

其他

软件下载

相关推荐
G皮T1 小时前
【Elasticsearch】自定义评分检索
大数据·elasticsearch·搜索引擎·查询·检索·自定义评分·_score
亲爱的非洲野猪3 小时前
Kafka消息积压的多维度解决方案:超越简单扩容的完整策略
java·分布式·中间件·kafka
搞笑的秀儿4 小时前
信息新技术
大数据·人工智能·物联网·云计算·区块链
SelectDB4 小时前
SelectDB 在 AWS Graviton ARM 架构下相比 x86 实现 36% 性价比提升
大数据·架构·aws
二二孚日5 小时前
自用华为ICT云赛道Big Data第五章知识点-Flume海量日志聚合
大数据·华为
二二孚日7 小时前
自用华为ICT云赛道Big Data第四章知识点-Flink流批一体分布式实时处理引擎
大数据·华为
xufwind8 小时前
spark standlone 集群离线安装
大数据·分布式·spark
AI数据皮皮侠8 小时前
中国区域10m空间分辨率楼高数据集(全国/分省/分市/免费数据)
大数据·人工智能·机器学习·分类·业界资讯
亲爱的非洲野猪9 小时前
Kafka “假死“现象深度解析与解决方案
分布式·kafka
CodeWithMe9 小时前
【Note】《Kafka: The Definitive Guide》第三章: Kafka 生产者深入解析:如何高效写入 Kafka 消息队列
分布式·kafka