ELK+filebeat
一、filebeat概述
1、filebeat概念：
filebeat日志收集工具和logstash相同
filebeat是一款轻量级的日志收集工具，可以在非JAVA环境下运行。
因此，filebeat常被用在非JAVAf的服务器上用于替代Logstash，收集日志信息。
实际上，Filebeat几乎可以起到与Logstash相同的作用，
可以将数据转发到Logstash、Redis或者是Elasticsearch中进行直接处理。
为什么要用filebeat来收集日志？为什么不直接使用lohstash收集日志？
因为logstash是jvm跑的，资源消耗比较大，启动一个logstash就需要消耗500M左右的内存
（这就是为什么logstash启动特别慢的原因）。
而filebeat只需要10M左右的内存资源。
常用的ELK日志采集方案中，大部分的做法就是将所有节点的日志内容通过filebeat发送到logstash，
lostash根据配置文件进行过滤，然后将过滤之后的文件传输到elasticsearch中，最后通过kibana展示。
2、filebeat的优缺点
优点：
filebeat是一个轻量级的日志收集工具，所使用的系统资源比logstash部署和启动时使用的资源要小的多
filebeat可以运行在非java环境。他可以代替logstash在非Java环境上收集日志
filebeat收集的数据可以发往多个主机。远程收集
缺点：
filebeat无法实现数据的过滤，一般是结合logstash的数据过滤功能一块使用
logstash 500M firebeat 10M
yml格式严格执行缩进
3、filebeat结合logstash带来的好处？
1、通过logstash，具有基于磁盘的自适应缓冲系统，该系统将吸收传入的吞吐量，
从而减轻Elasticsearch持续写入数据的压力。
2、从其它数据源（例如数据库，s3对象存储或消息传递队列）中提取
3、将数据发送到多个目的地，例如S3，HDFS（hadoop分部署文件系统）或写入文件
4、使用数据流逻辑组成更复杂的处理管道。
4、工作流程图：
二、filebeat+ELK实验部署
架构：
ES节点两个：
node1：192.168.183.10
node2：192.168.183.20
日志节点（logstash、kibana、filebeat）：192.168.183.30
1．安装 Filebeat
#上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录
tar zxvf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64/ /usr/local/filebeat
#时间同步
yum install ntpdate -y
ntpdate ntp.aliyun.com
2．设置 filebeat 的主配置文件
cd /usr/local/filebeat
vim filebeat.yml
filebeat.inputs:
-
type: log
enabled: true
paths:
-
/usr/local/nginx/logs/access.log
-
/usr/local/nginx/logs/error.log
tags: ["nginx_23"]
fields:
service_name: 20.0.0.23_nginx
log_type: nginx
from: 20.0.0.23
-
Elasticsearch output模块全部注释掉
因为filebeat只能收集日志，不能过滤日志，所以需要先发给logstash过滤处理日志，再由logstash发送给elasticsearch。这里不直接发送给elasticsearch
Logstash output
配置logsatsh
input {
beats { port => "5044" }
}
output {
if "nginx_23" in [tags] {
elasticsearch {
hosts => ["20.0.0.21:9200","20.0.0.22:9200"]
index =>"%{[fields][service_name]}-%{+YYYY.MM.dd}"
}
}
stdout {
codec => rubydebug
}
}
启动 filebeat：
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
-e：输出到标准输出，禁用syslog/文件输出
-c：指定配置文件
nohup：在系统后台不挂断地运行命令，退出终端不会影响程序的运行
给所要操作的日志访问权限
chmod 777 access.log error.log
启动logstash配置：****
logstash -f nginx_23.conf --path.data /opt/test1 &
filebeat 远程收集日志
工作过程：
filebeat和logstash不部署在同一节点上
filebeat先在节点上收集日志，在远程发送给logstash。
在节点上安装filebeat
配置filebeat文件：
Filebeat inputs
Elasticsearch output(全部注释掉)
Logstash output
output.logstash:
The Logstash hosts
hosts: ["20.0.0.23:5045"] #指定 logstash 的 IP 和端口
配置logstash（去logstash节点）
启动 filebeat（filebeat节点）
cd /usr/local/filebeat
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
去logstash节点启动
logstash -f nhm.conf --path.data /opt/test2 &
logstash可以使用任意端口，只要没被占用都可以使用，推荐1024之后开始
如何对logstash做性能上的优化
logstash启动是在jvm虚拟机上启动的，启动一次至少占500M内存
pipeline.workers: 2
logstash的工作线程，默认值就是cpu数，4核给2， 8核 给4 给一半即可
pipeline.batch.size 125
一次性能够批量处理检索事件的大小默认125。性能好可以给 200
pipline.batch.delay: 50
查询更新的延迟。50毫秒，可以自行调整。生产中15 、10。看机器性能
gstash可以使用任意端口，只要没被占用都可以使用，推荐1024之后开始
如何对logstash做性能上的优化
logstash启动是在jvm虚拟机上启动的，启动一次至少占500M内存
pipeline.workers: 2
logstash的工作线程，默认值就是cpu数，4核给2， 8核 给4 给一半即可
pipeline.batch.size 125
一次性能够批量处理检索事件的大小默认125。性能好可以给 200
pipline.batch.delay: 50
查询更新的延迟。50毫秒，可以自行调整。生产中15 、10。看机器性能