filebeat发送日志

filebeat:

1.可以在本机收集日志

2.也可以远程收集日志

3.轻量级的日志收集系统,可以在非Java环境运行

logstash是在jvm环境中运行,资源消耗很高,启动一个logstash需要消耗500M左右的内存

filebeat只消耗10M左右的内存

test3是装有logstash的主机,MySQL1是装有nginx,mysql,httpd的服务器

实现在test3上查看nginx,mysql,httpd的日志

bash 复制代码
#nginx的系统日志格式,filebeat可以直接识别。
yum -y install nginx
systemctl start nginx
systemctl stop firewalld
setenforce 0
#解压缩
rz -E 
filebeat-6.7.2-linux-x86_64.tar.gz
tar -xf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64 /usr/local/filebeat
cd /usr/local/filebeat
ln -s /usr/local/filebeat/filebeat /usr/local/bin/filebeat
ln -s /usr/local/filebeat/filebeat /usr/local/sbin/filebeat
#进入配置文件
vim filebeat.yml
enable: true
path:
- /var/log/nginx/access.log
- /var/log/nginx/error.log
#开启日志收集,以及确定日志文本的路径,指定标签和发送到目标主机的logstash
tags: ["nginx"]
fields:
  service_name: 192.168.233.90_nginx
  log_type: nginx
  from: 192.168.233.90

path:
- /usr/local/nginx/logs/access.log
- /usr/local/nginx/logs/error.log
tags: ["mysqld"]
fields:
  service_name: 192.168.233.90_mysqld
  log_type: mysqld
  from: 192.168.233.90

path:
- /usr/local/nginx/logs/access.log
- /usr/local/nginx/logs/error.log
tags: ["httpd"]
fields:
  service_name: 192.168.233.90_httpd
  log_type: httpd
  from: 192.168.233.90

#output.elasticsearch
#hosts: ["localhost:9200"]
output.logstash
hosts: [192.168.233.30:5045]

#在命令行输入,可以把运行的日志保存到指定文件
nohup ./filebeat -e -c filebeat.yml > filebeat.out &

在test3上接收,test3要有logshosts

bash 复制代码
vim nginx_90.conf
input {
	beats {post => "5045"}
}
 output {
 	if "nginx" in [tags] {
 		elasticsearch  {
			hosts => ["192.168.233.10:9200","192.168.233.20:9200"]
			index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
 		}
 	}
 	
 	 output {
 	if "mysqld" in [tags] {
 		elasticsearch  {
			hosts => ["192.168.233.10:9200","192.168.233.20:9200"]
			index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
 		}
 	}
 	
 output {
 	if "httpd" in [tags] {
 		elasticsearch  {
			hosts => ["192.168.233.10:9200","192.168.233.20:9200"]
			index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
 		}
 	}
 }

#启动 Logstash 并指定其配置文件和数据存储路径的命令
logstash -f nginx_90.conf --path.data /opt/test3


相关推荐
百锦再3 小时前
Android Studio开发中Application和Activity生命周期详解
android·java·ide·app·gradle·android studio·studio
移动开发者1号4 小时前
Android现代进度条替代方案
android·app
万户猴4 小时前
【Android蓝牙开发实战-11】蓝牙BLE多连接机制全解析1
android·蓝牙
RichardLai884 小时前
[Flutter 基础] - Flutter基础组件 - Icon
android·flutter
前行的小黑炭4 小时前
Android LiveData源码分析:为什么他刷新数据比Handler好,能更节省资源,解决内存泄漏的隐患;
android·kotlin·android jetpack
清霜之辰4 小时前
安卓 Compose 相对传统 View 的优势
android·内存·性能·compose
_祝你今天愉快5 小时前
再看!NDK交叉编译动态库并在Android中调用
android
一杯凉白开5 小时前
Android View 事件的分发机制 四句口诀 先问拦截再派送,子不处理父兜底, 一旦消费无后续, 滑动冲突靠逻辑。
android
冬田里的一把火35 小时前
[Android]导航栏中插入电源菜单
android
星途码客5 小时前
SQLyog中DELIMITER执行存储过程时出现的前置缩进问题
android