二百零五、Flume——数据流监控工具Ganglia单机版安装以及使用Ganglia监控Flume任务的数据流(附流程截图)

一、目的

Flume采集Kafka的数据流需要实时监控,这时就需要用到监控工具Ganglia

二、Ganglia简介

Ganglia 由 gmond、gmetad 和 gweb 三部分组成。

(一)第一部分:gmond

gmond(Ganglia Monitoring Daemon)是一种轻量级服务,安装在每台需要收集指标数据的节点主机上。
使用 gmond可以很容易收集很多系统指标数据,如 CPU、内存、磁盘、网络和活跃进程的数据等。

(二)第二部分:gmetad

gmetad(Ganglia Meta Daemon)整合所有信息,并将其以 RRD 格式存储至磁盘的服务。

(三)第三部分:gweb

gweb(Ganglia Web)Ganglia 可视化工具,gweb 是一种利用浏览器显示 gmetad 所存储数据的 PHP 前端。
在 Web 界面中以图表方式展现集群的运行状态下收集的多种不同指标数据。

三、Ganglia单机版安装步骤

(一)下载epel-release和ganglia

yum -y install epel-release

yum -y install ganglia-gmetad

yum -y install ganglia-web

yum -y install ganglia-gmond

(二)修改配置文件ganglia.conf

[root@hurys22 ~]# vi /etc/httpd/conf.d/ganglia.conf

<Location /ganglia>
Require ip 192.168.0.22

Require ip 10.1.2.3

Require host example.org

Require all granted

</Location>

(三)修改配置文件gmetad.conf

[root@hurys22 ~]# vi /etc/ganglia/gmetad.conf

44 data_source "my cluster" hurys22

(四)修改配置文件gmond.conf

[root@hurys22 ~]# vi /etc/ganglia/gmond.conf

30 name = "my cluster"

31 owner = "unspecified"

32 latlong = "unspecified"

33 url = "unspecified"

50 host = hurys22

51 port = 8649

52 ttl = 1

57 # mcast_join = 239.2.11.71

58 port = 8649

接收来自任意连接的数据

59 bind = 0.0.0.0

60 retry_bind = true

(五)修改配置文件config

[root@hurys22 ~]# vi /etc/selinux/config

SELINUX=disabled

(六)文件赋权

[root@hurys22 ~]# chmod -R 777 /var/lib/ganglia

(七)重启

[root@hurys22 ~]# reboot

(八)启动 ganglia

[root@hurys22 ~]# sudo systemctl start gmond

[root@hurys22 ~]# sudo systemctl start httpd

[root@hurys22 ~]# sudo systemctl start gmetad

(九)打开网页浏览 ganglia 页面

http://hurys22/ganglia

(十)使用Ganglia监控Flume

1、修改Flume配置文件flume-env.sh

[root@hurys22 ~]# cd /usr/local/hurys/dc_env/flume/flume190/conf/

[root@hurys22 conf]# vi flume-env.sh

export JAVA_OPTS="-Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.0.22:8649 -Xms8000m -Xmx8000m -Dcom.sun.management.jmxremote"

2、创建Flume任务文件 flume-netcat-logger.conf

[root@hurys22 conf]# vi flume-netcat-logger.conf

Name the components on this agent

a1.sources = r1
a1.sinks = k1
a1.channels = c1

Describe/configure the source

a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

Describe the sink

a1.sinks.k1.type = logger

Use a channel which buffers events in memory

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

Bind the source and sink to the channel

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

3、运行Flume任务

[root@hurys22 flume190]# bin/flume-ng agent -c conf/ -n a1 -f conf/flume-netcat-logger.conf -Dflume.root.logger=INFO,console -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.0.22:8649

或者

bin/flume-ng agent \
-c conf/ \
-n a1 \
-f conf/flume-netcat-logger.conf \
-Dflume.root.logger=INFO,console \
-Dflume.monitoring.type=ganglia \
-Dflume.monitoring.hosts=192.168.0.22:8649

4、使用44444端口发送数据

5、Flume运行界面显示任务运行

6、Ganglia监控图

这样Ganglia就能监控Flume的数据流,希望能帮到大家!

相关推荐
2401_883041081 小时前
新锐品牌电商代运营公司都有哪些?
大数据·人工智能
青云交1 小时前
大数据新视界 -- 大数据大厂之 Impala 性能优化:融合机器学习的未来之路(上 (2-1))(11/30)
大数据·计算资源·应用案例·数据交互·impala 性能优化·机器学习融合·行业拓展
Json_181790144804 小时前
An In-depth Look into the 1688 Product Details Data API Interface
大数据·json
Qspace丨轻空间6 小时前
气膜场馆:推动体育文化旅游创新发展的关键力量—轻空间
大数据·人工智能·安全·生活·娱乐
Elastic 中国社区官方博客7 小时前
如何将数据从 AWS S3 导入到 Elastic Cloud - 第 3 部分:Elastic S3 连接器
大数据·elasticsearch·搜索引擎·云计算·全文检索·可用性测试·aws
Aloudata8 小时前
从Apache Atlas到Aloudata BIG,数据血缘解析有何改变?
大数据·apache·数据血缘·主动元数据·数据链路
水豚AI课代表8 小时前
分析报告、调研报告、工作方案等的提示词
大数据·人工智能·学习·chatgpt·aigc
拓端研究室TRL11 小时前
【梯度提升专题】XGBoost、Adaboost、CatBoost预测合集:抗乳腺癌药物优化、信贷风控、比特币应用|附数据代码...
大数据
黄焖鸡能干四碗11 小时前
信息化运维方案,实施方案,开发方案,信息中心安全运维资料(软件资料word)
大数据·人工智能·软件需求·设计规范·规格说明书
编码小袁11 小时前
探索数据科学与大数据技术专业本科生的广阔就业前景
大数据