【Hadoop实训】Flume系统负载均衡测试

一、搭建并配置Flume机器

在master上,执行:

scp -r /export/servers/flume slave1:/export/servers/

scp -r /export/servers/flume slave2:/export/servers/

scp /etc/profile slave1:/etc/profile

scp /etc/profile slave2:/etc/profile

执行完上述指令后,分别在slave1和slave2上机器人运行"source /etc/profile"指令,立即刷新配置。

二、配置Flume采集方案

  • 在master上配置第一级采集配置,在/export/servers/flume/conf目录下编写采集方案exec-avro.conf。

  • 在slave1和slave2上配置第二级Agent的采集方案,分别在slave1和slave2的/export/servers/flume/conf目录下编写各自的采集方案avro-logger.conf.

三、启动Flume系统

1、在slave1上操作,进入目录:cd /export/servers/flume/ 执行命令:

flume-ng agent --conf conf/ --conf-file conf/avro-logger.conf --name a1 -Dflume.root.logger=INFO,console

如果出现这种错误 把 --name a1 提前到第一个 conf/ 后面。

2、在slave2上操作,进入目录:cd /export/servers/flume/ 执行命令:

flume-ng agent --conf conf/ --conf-file conf/avro-logger.conf --name a1 -Dflume.root.logger=INFO,console

3、 在master上操作,进入目录:cd /export/servers/flume/ 执行命令:

flume-ng agent --conf conf/ --conf-file conf/exec-avro.conf --name a1 -Dflume.root.logger=INFO,console

此时:

slave1 终端上信息显示:

slave终端信息显示:

四、Flume系统负载均衡测试

重新打开master一个终端,创建/root/logs目录

mkdir /root/logs

输入shell 脚本:

while true;do echo "access access ..." >>/root/logs/123.log;sleep 1;done

结果

执行完上述指令后,查看slave1和slave2中启动Flume的终端窗口,可以发现两台机器上的Flume系统几乎是轮流采集并打印出收集得到的数据信息。

相关推荐
单音GG17 分钟前
推荐一个基于协程的C++(lua)游戏服务器
服务器·c++·游戏·lua
huaqianzkh18 分钟前
了解Hadoop:大数据处理的核心框架
大数据·hadoop·分布式
Kika写代码43 分钟前
【Hadoop】【hdfs】【大数据技术基础】实验三 HDFS 基础编程实验
大数据·hadoop·hdfs
shitian08111 小时前
用轻量云服务器搭建一个开源的商城系统,含小程序和pc端
服务器·小程序·开源
Biomamba生信基地1 小时前
Linux也有百度云喔~
linux·运维·服务器·百度云
米饭是菜qy1 小时前
TCP 三次握手意义及为什么是三次握手
服务器·网络·tcp/ip
yaoxin5211231 小时前
第十九章 TCP 客户端 服务器通信 - 数据包模式
服务器·网络·tcp/ip
鹿鸣天涯2 小时前
‌华为交换机在Spine-Leaf架构中的使用场景
运维·服务器·网络
星海幻影2 小时前
网络基础-超文本协议与内外网划分(超长版)
服务器·网络·安全
heromps5 小时前
hadoop报错找不到主类
大数据·hadoop·eclipse