二百零五、Flume——数据流监控工具Ganglia单机版安装以及使用Ganglia监控Flume任务的数据流(附流程截图)

一、目的

Flume采集Kafka的数据流需要实时监控,这时就需要用到监控工具Ganglia

二、Ganglia简介

Ganglia 由 gmond、gmetad 和 gweb 三部分组成。

(一)第一部分:gmond

gmond(Ganglia Monitoring Daemon)是一种轻量级服务,安装在每台需要收集指标数据的节点主机上。
使用 gmond可以很容易收集很多系统指标数据,如 CPU、内存、磁盘、网络和活跃进程的数据等。

(二)第二部分:gmetad

gmetad(Ganglia Meta Daemon)整合所有信息,并将其以 RRD 格式存储至磁盘的服务。

(三)第三部分:gweb

gweb(Ganglia Web)Ganglia 可视化工具,gweb 是一种利用浏览器显示 gmetad 所存储数据的 PHP 前端。
在 Web 界面中以图表方式展现集群的运行状态下收集的多种不同指标数据。

三、Ganglia单机版安装步骤

(一)下载epel-release和ganglia

yum -y install epel-release

yum -y install ganglia-gmetad

yum -y install ganglia-web

yum -y install ganglia-gmond

(二)修改配置文件ganglia.conf

root@hurys22 \~\]# vi /etc/httpd/conf.d/ganglia.conf \ Require ip 192.168.0.22 # Require ip 10.1.2.3 # Require host example.org Require all granted \ ![](https://file.jishuzhan.net/article/1727187434581528577/ef1d7c1f4a900c62f1ac3f6b68e85f20.webp) ### (三)修改配置文件gmetad.conf \[root@hurys22 \~\]# vi /etc/ganglia/gmetad.conf 44 data_source "my cluster" hurys22 ![](https://file.jishuzhan.net/article/1727187434581528577/7d4b3684b5a985acf05768d0f1fa9847.webp) ### (四)修改配置文件gmond.conf \[root@hurys22 \~\]# vi /etc/ganglia/gmond.conf 30 name = "my cluster" 31 owner = "unspecified" 32 latlong = "unspecified" 33 url = "unspecified" 50 host = hurys22 51 port = 8649 52 ttl = 1 57 # mcast_join = 239.2.11.71 58 port = 8649 # 接收来自任意连接的数据 59 bind = 0.0.0.0 60 retry_bind = true ![](https://file.jishuzhan.net/article/1727187434581528577/2ab5b14733f17a24762e47101a0c89e9.webp) ### (五)修改配置文件config \[root@hurys22 \~\]# vi /etc/selinux/config SELINUX=disabled ![](https://file.jishuzhan.net/article/1727187434581528577/25a68a9392cd0f1039347f091884c068.webp) ![](https://file.jishuzhan.net/article/1727187434581528577/04065a357184cc77ff5346e092352f2c.webp) ### (六)文件赋权 \[root@hurys22 \~\]# chmod -R 777 /var/lib/ganglia ### (七)重启 \[root@hurys22 \~\]# reboot ### (八)启动 ganglia \[root@hurys22 \~\]# sudo systemctl start gmond \[root@hurys22 \~\]# sudo systemctl start httpd \[root@hurys22 \~\]# sudo systemctl start gmetad ### (九)打开网页浏览 ganglia 页面 http://hurys22/ganglia ![](https://file.jishuzhan.net/article/1727187434581528577/a14298fa00ca05b8096eec2b02f07749.webp) ### (十)使用Ganglia监控Flume #### 1、修改Flume配置文件flume-env.sh \[root@hurys22 \~\]# cd /usr/local/hurys/dc_env/flume/flume190/conf/ \[root@hurys22 conf\]# vi flume-env.sh export JAVA_OPTS="-Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.0.22:8649 -Xms8000m -Xmx8000m -Dcom.sun.management.jmxremote" ![](https://file.jishuzhan.net/article/1727187434581528577/7e2917ddd52729b76e3188c29172df85.webp) #### 2、创建Flume任务文件 flume-netcat-logger.conf \[root@hurys22 conf\]# vi flume-netcat-logger.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 # Describe the sink a1.sinks.k1.type = logger # Use a channel which buffers events in memory a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 ![](https://file.jishuzhan.net/article/1727187434581528577/50558e01ea9840ab8a2efc5a9ca7c9cd.webp) #### 3、运行Flume任务 \[root@hurys22 flume190\]# bin/flume-ng agent -c conf/ -n a1 -f conf/flume-netcat-logger.conf -Dflume.root.logger=INFO,console -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.0.22:8649 或者 bin/flume-ng agent \\ -c conf/ \\ -n a1 \\ -f conf/flume-netcat-logger.conf \\ -Dflume.root.logger=INFO,console \\ -Dflume.monitoring.type=ganglia \\ -Dflume.monitoring.hosts=192.168.0.22:8649 #### ![](https://file.jishuzhan.net/article/1727187434581528577/5380ad5f7ec56513b4fbd40d1a45d2ea.webp) 4、使用44444端口发送数据 ![](https://file.jishuzhan.net/article/1727187434581528577/2756fcb030062fd609d0333102d220bd.webp) #### 5、Flume运行界面显示任务运行 ![](https://file.jishuzhan.net/article/1727187434581528577/316a8c887354679a6b55978deda8f393.webp) #### 6、Ganglia监控图 ![](https://file.jishuzhan.net/article/1727187434581528577/246798fd2c39d96050dd7181eb16160c.webp) 这样Ganglia就能监控Flume的数据流,希望能帮到大家!

相关推荐
TDengine (老段)6 小时前
TDengine 中的关联查询
大数据·javascript·网络·物联网·时序数据库·tdengine·iotdb
直裾10 小时前
Mapreduce的使用
大数据·数据库·mapreduce
麻芝汤圆12 小时前
使用 MapReduce 进行高效数据清洗:从理论到实践
大数据·linux·服务器·网络·数据库·windows·mapreduce
树莓集团13 小时前
树莓集团海南落子:自贸港布局的底层逻辑
大数据
不剪发的Tony老师13 小时前
Hue:一个大数据查询工具
大数据
靠近彗星13 小时前
如何检查 HBase Master 是否已完成初始化?| 详细排查指南
大数据·数据库·分布式·hbase
墨染丶eye14 小时前
数据仓库项目启动与管理
大数据·数据仓库·spark
SelectDB14 小时前
Apache Doris 2025 Roadmap:构建 GenAI 时代实时高效统一的数据底座
大数据·数据库·aigc
遇到困难睡大觉哈哈14 小时前
Git推送错误解决方案:`rejected -> master (fetch first)`
大数据·git·elasticsearch
Roam-G14 小时前
Elasticsearch 证书问题解决
大数据·elasticsearch·jenkins