【Hadoop实训】Flume系统负载均衡测试

一、搭建并配置Flume机器

在master上,执行:

复制代码
scp -r /export/servers/flume slave1:/export/servers/

scp -r /export/servers/flume slave2:/export/servers/

scp /etc/profile slave1:/etc/profile

scp /etc/profile slave2:/etc/profile

执行完上述指令后,分别在slave1和slave2上机器人运行"source /etc/profile"指令,立即刷新配置。

二、配置Flume采集方案

  • 在master上配置第一级采集配置,在/export/servers/flume/conf目录下编写采集方案exec-avro.conf。

  • 在slave1和slave2上配置第二级Agent的采集方案,分别在slave1和slave2的/export/servers/flume/conf目录下编写各自的采集方案avro-logger.conf.

三、启动Flume系统

1、在slave1上操作,进入目录:cd /export/servers/flume/ 执行命令:

复制代码
flume-ng agent --conf conf/ --conf-file conf/avro-logger.conf --name a1 -Dflume.root.logger=INFO,console

如果出现这种错误 把 --name a1 提前到第一个 conf/ 后面。

2、在slave2上操作,进入目录:cd /export/servers/flume/ 执行命令:

复制代码
flume-ng agent --conf conf/ --conf-file conf/avro-logger.conf --name a1 -Dflume.root.logger=INFO,console

3、 在master上操作,进入目录:cd /export/servers/flume/ 执行命令:

复制代码
flume-ng agent --conf conf/ --conf-file conf/exec-avro.conf --name a1 -Dflume.root.logger=INFO,console

此时:

slave1 终端上信息显示:

slave终端信息显示:

四、Flume系统负载均衡测试

重新打开master一个终端,创建/root/logs目录

复制代码
mkdir /root/logs

输入shell 脚本:

复制代码
while true;do echo "access access ..." >>/root/logs/123.log;sleep 1;done

结果

执行完上述指令后,查看slave1和slave2中启动Flume的终端窗口,可以发现两台机器上的Flume系统几乎是轮流采集并打印出收集得到的数据信息。

相关推荐
一切顺势而行11 分钟前
Flume 学习
flume
网硕互联的小客服1 小时前
服务器经常出现蓝屏是什么原因导致的?如何排查和修复?
运维·服务器·stm32·单片机·网络安全
witton1 小时前
Go语言网络游戏服务器模块化编程
服务器·开发语言·游戏·golang·origin·模块化·耦合
成都极云科技1 小时前
成都算力租赁新趋势:H20 八卡服务器如何重塑 AI 产业格局?
大数据·服务器·人工智能·云计算·gpu算力
喜欢吃豆1 小时前
从零构建MCP服务器:FastMCP实战指南
运维·服务器·人工智能·python·大模型·mcp
刘阿宾2 小时前
【华为昇腾|CUDA】服务器A6000显卡部署LLM实战记录
服务器·华为·语言模型·gpu算力·kylin
海外空间恒创科技2 小时前
恒创科技:香港站群服务器做seo站群优化效果如何
运维·服务器·科技
搬码临时工2 小时前
内网服务器怎么设置公网远程访问? windows桌面连接和Linux自带SSH外网异地跨网用完整步骤教程
运维·服务器·ssh
用户58126769320083 小时前
记一次腾讯云轻量级服务器 Docker 拉取镜像失败的深度排查
服务器
海外空间恒创科技3 小时前
香港站群服务器与普通香港服务器对比
服务器·git·github