【Hadoop实训】Flume系统负载均衡测试

一、搭建并配置Flume机器

在master上,执行:

复制代码
scp -r /export/servers/flume slave1:/export/servers/

scp -r /export/servers/flume slave2:/export/servers/

scp /etc/profile slave1:/etc/profile

scp /etc/profile slave2:/etc/profile

执行完上述指令后,分别在slave1和slave2上机器人运行"source /etc/profile"指令,立即刷新配置。

二、配置Flume采集方案

  • 在master上配置第一级采集配置,在/export/servers/flume/conf目录下编写采集方案exec-avro.conf。

  • 在slave1和slave2上配置第二级Agent的采集方案,分别在slave1和slave2的/export/servers/flume/conf目录下编写各自的采集方案avro-logger.conf.

三、启动Flume系统

1、在slave1上操作,进入目录:cd /export/servers/flume/ 执行命令:

复制代码
flume-ng agent --conf conf/ --conf-file conf/avro-logger.conf --name a1 -Dflume.root.logger=INFO,console

如果出现这种错误 把 --name a1 提前到第一个 conf/ 后面。

2、在slave2上操作,进入目录:cd /export/servers/flume/ 执行命令:

复制代码
flume-ng agent --conf conf/ --conf-file conf/avro-logger.conf --name a1 -Dflume.root.logger=INFO,console

3、 在master上操作,进入目录:cd /export/servers/flume/ 执行命令:

复制代码
flume-ng agent --conf conf/ --conf-file conf/exec-avro.conf --name a1 -Dflume.root.logger=INFO,console

此时:

slave1 终端上信息显示:

slave终端信息显示:

四、Flume系统负载均衡测试

重新打开master一个终端,创建/root/logs目录

复制代码
mkdir /root/logs

输入shell 脚本:

复制代码
while true;do echo "access access ..." >>/root/logs/123.log;sleep 1;done

结果

执行完上述指令后,查看slave1和slave2中启动Flume的终端窗口,可以发现两台机器上的Flume系统几乎是轮流采集并打印出收集得到的数据信息。

相关推荐
爬山算法3 小时前
MySQL(116)如何监控负载均衡状态?
数据库·mysql·负载均衡
snoopyfly~4 小时前
Ubuntu 24.04 LTS 服务器配置:安装 JDK、Nginx、Redis。
java·服务器·ubuntu
Me4神秘4 小时前
Linux国产与国外进度对垒
linux·服务器·安全
牛奶咖啡137 小时前
Linux系统的常用操作命令——文件远程传输、文件编辑、软件安装的四种方式
运维·服务器·软件安装·linux云计算·scp文件远程传输·vi文件编辑·设置yum的阿里云源
weixin_437398217 小时前
转Go学习笔记(2)进阶
服务器·笔记·后端·学习·架构·golang
tan77º8 小时前
【Linux网络编程】Socket - UDP
linux·服务器·网络·c++·udp
szxinmai主板定制专家9 小时前
【精密测量】基于ARM+FPGA的多路光栅信号采集方案
服务器·arm开发·人工智能·嵌入式硬件·fpga开发
你不知道我是谁?9 小时前
负载均衡--四层、七层负载均衡的区别
运维·服务器·负载均衡
九丝城主10 小时前
2025使用VM虚拟机安装配置Macos苹果系统下Flutter开发环境保姆级教程--中篇
服务器·flutter·macos·vmware
码出钞能力11 小时前
linux内核模块的查看
linux·运维·服务器