ELK：filebeat日志收集工具和logstash相同
filebeat是一个轻量级的日志收集工具，所使用的系统资源比logstash部署和启动时使用的资源要小的多。
filebeat可以运行在非java环境。他可以代理logstash在非java环境上收集日志
filebeat无法实现数据的过滤，一般是结合logstash的数据过滤功能一块使用
filebeat收集的数据可以发往多个主机。远程收集。
数据流程图：
实验：
20.0.0.10:logstash+kibana+filebeat
20.0.0.20:es1
20.0.0.30:es2
20.0.0.75:mysql
vim /etc/logstash/logstash.yml
64行
path.data: /opt/log
重启服务即可
yum -y install ntpdate
#时间同步
ntpdate ntp.aliyun.com
yum -y install nginx
#安装nginx
开启nginx
vim /usr/local/nginx/html/index.html
this is nginx
到浏览器页面访问测试一下
20.0.0.10:8080
回到10主机
cd filebeat
cp filebeat.yml filebeat.yml.bck
vim filebeat.yml
Logstash output部分
output.logstash:解除注释
hosts: ["20.0.0.10:5044"]解除注释
15 filebeat.inputs:
16 - type: log
17 enabled: true
18 paths:
19 - /usr/local/nginx/logs/access.log
20 - /usr/local/nginx/logs/error.log
21 tags: ["nginx"]
22 fields:
23 service_name: 20.0.0.10_nginx
24 log_type: nginx
25 from: 20.0.0.10
cd /opt/log
vim nginx.conf
input {
beats { prot => "5044"}
}
output {
if "nginx" in [tags] {
elasticsearch {
hosts => ["20.0.0.20:9200","20.0.0.30:9200"]
index => "%{[fields][service_name]}"-%{+YYYY.MM.dd}
}
}
stdout {
codec => rubydebug
}
}
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
#nohup表示在后台记录执行命令的过程
#./filebeat运行文件
#-e使用标准输出同时禁用syslog文件输出
#-c指定配置文件
cd /opt/log
logstash -f file_nginx.conf --path.data /opt/ng3 &
到浏览器测试一下
logstash收集日志的过程：
input（从哪收集）
filter（过滤）
output（发送es实例）
远程收集多个日志
MySQL主机
vim /etc/my.conf
general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log
#开启日志功能和指定日志位置
systemctl restart mysqld.service
#重启MySQL服务
打开MySQL进入创建一个库和一个表给日志创造一点信息
yum -y install httpd
#安装httpd服务
yum -y install nginx
#安装nginx服务
修改nginx的端口号为8080
到浏览器访问测试一下httpd和nginx
20.0.0.75:80
20.0.0.75:8080
在MySQL主机上安装filebeat
cd filebeat
cp filebeat.yml filebeat.yml.bak
vim filebeat.yml
打开optput
hosts： [20.0.0.10]
filebeat.inputs:
- type: log
enabled: true
paths:
-
/usr/local/nginx/logs/access.log
-
/usr/local/nginx/logs/error.log
type: ["nginx_75"]
fields:
service_name: 20.0.0.75_nginx
log_type: nginx
from: 20.0.0.75
- type: log
enabled: true
paths:
-
/var/log/httpd/access.log
-
/var/log/httpd/error.log
type: ["httpd_75"]
fields:
service_name: 20.0.0.75_httpd
log_type: httpd
from: 20.0.0.75
- type: log
enabled: true
paths:
- /usr/local/mysql/data/mysql_general.log
type: ["mysql_75"]
fields:
service_name: 20.0.0.75_mysql
log_type: mysql
from: 20.0.0.75
回到elk主机
cd /opt/log
vim nhm_75.conf
input {
beats { port => "5045"}
}
output {
if "nginx_75" in [tags] {
elasticsearch {
hosts => ["20.0.0.20:9200","20.0.0.30:9200"]
index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
}
}
if "httpd_75" in [tags] {
elasticsearch {
hosts => ["20.0.0.20:9200","20.0.0.30:9200"]
index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
}
}
if "mysql_75" in [tags] {
elasticsearch {
hosts => ["20.0.0.20:9200","20.0.0.30:9200"]
index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
}
}
stdout {
codec => rubydebug
}
}
回到MySQL主机
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
回到elk主机
logstash -f nhm_75.conf --path.data /opt/nhm
回到MySQL主机修改端口号
hosts: ["20.0.0.75:5045"]
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
到elk主机
logstash -f nhm.conf --path.data /opt/nhm2 &
到浏览器查看一下es索引是否创建成功
再到kibana上创建索引查看是否有日志记录
logstash性能优化：
logstash启动是在jvm虚拟机当中其中，启动一次至少500M内存。
vim /etc/logstash/logstash.yml
41行
pipeline.workers: 2
#定义了logstash的工作线程，默认值就是cpu数。4核最好给2，8核给2，给一半即可
pipline.batch.size: 125
#一次性批量处理检索时间的大小
#125是条数。可以根据自行修改
50行
pipeline.batch.delay: 50
#查询更新的延迟
#50是50毫秒，也可也自行调整
#生产中一般10-15毫秒。也要看机器性能