ELK + Filebeat 分布式日志管理平台部署
- 1、前言
- 2、ELK概述
- 3、ELK组件详解
-
- 3.1Logstash
-
- 3.1.1简介
- 3.1.2Logstash命令常用选项
- [3.1.3Logstash 的输入和输出流](#3.1.3Logstash 的输入和输出流)
- 3.1.4Logstash配置文件
- 3.2ElasticSearch
- 3.3Kiabana
- 3.4Filebeat
-
- 3.4.1简介
- [3.4.2filebeat 结合 logstash 带来好处:](#3.4.2filebeat 结合 logstash 带来好处:)
- 3.5缓存/消息队列(redis、kafka、RabbitMQ等)
- 3.6Fluentd
- 4、ELK的工作原理
- 5、部署ELK(Logstash作为日志收集器)
-
-
-
- [ELK Elasticsearch 集群部署(在Node1、Node2节点上操作)](#ELK Elasticsearch 集群部署(在Node1、Node2节点上操作))
-
- [ELK Logstash 部署(在 Apache 节点上操作)](#ELK Logstash 部署(在 Apache 节点上操作))
- [ELK Kiabana 部署(在 Node1 节点上操作)](#ELK Kiabana 部署(在 Node1 节点上操作))
- [Filebeat+ELK 部署](#Filebeat+ELK 部署)
-
-
1、前言
在运维中,日志是非常重要的工具,用于记录系统、应用程序或设备的运行状态、事件和异常情况。
1.1日志分析的作用
(1)故障排除和问题诊断
日志是排查故障和诊断问题的关键信息源。
通过分析日志文件,可以查找和定位系统故障、错误和异常,帮助运维人员迅速找出问题的根本原因,并采取正确的修复措施。
(2)性能分析和优化
通过监视和分析系统日志,可以了解系统的性能瓶颈、资源消耗情况和关键指标。
运维人员可以根据日志中的数据,优化系统配置、调整资源分配,以提高系统的性能和响应能力。
(3)安全监控和威胁检测
日志可以帮助监控系统的安全性,并检测潜在的安全威胁。
通过分析日志,可以发现异常登录、未授权访问、恶意行为等安全问题,并及时采取措施进行应对和防范。
(4)运营分析和规划
通过日志分析,可以更好地了解用户需求,进行容量规划,制定有效的运维策略和决策。
(5)合规性和审计
通过记录和保留日志,可以应对合规性规定,并提供必要的审计跟踪,以满足法规和行业标准的要求。
因此,对于任何系统或应用程序,设置合适的日志记录和日志分析机制是非常重要的一环。
1.2需要收集的日志
系统日志:为监控做准备,要收集tomcat系统日志,tomcat所在节点的日志。
服务日志:比如数据库mysql,收集慢查询日志、错误日志、普通日志,要收集tomcat服务日志。
业务日志(业务日志必须收集):业务口子日志在log4j,log4j是由java环境开发的,跑在tomcat上。
1.3完整日志系统的基本特征
- 收集:能够采集多种来源的日志数据
- 传输:能够稳定的把日志数据解析过滤并传输到存储系统
- 存储:存储日志数据
- 分析:支持UI分析
- 警告:能够提供错误报告,监控机制
2、ELK概述
2.1ELK简介
ELK平台是一套完整的日志集中处理解决方案。
将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用, 完成更强大的用户对日志的查询、排序、统计需求。
2.2为什么要用ELK?
集中化管理日志后,日志的统计和检索的效率降低。
ELK 提供了一个完整的日志管理和分析解决方案,能够帮助用户更好地理解数据、监控系统性能并进行故障排除。
2.3ELK的组件
基础组件:Elasticsearch、Logstash、Kibana
扩展组件:Filebeat、Fluentd
3、ELK组件详解
3.1Logstash
3.1.1简介
Logstash 实现了数据的收集和处理。
Logstash 是一个可扩展的数据收集、转换和传输工具。
它可以从各种来源(如日志文件、消息队列、数据库等)收集数据,并将其转换为统一的格式,然后发送到 Elasticsearch 进行存储和分析。
Logstash 提供了丰富的输入插件font>和输出插件,可以与各种数据源和目标进行集成。
它还具有强大的过滤功能,可以对数据进行处理、过滤和转换,以满足不同的业务需求。
3.1.2Logstash命令常用选项
dart
#Logstash 命令常用选项
-f:通过这个选项可以指定 Logstash 的配置文件,根据配置文件配置 Logstash 的输入和输出流
-e:从命令行中获取,输入、输出后面跟着字符串,该字符串可以被当作 Logstash 的配置(如果是空,则默认使用 stdin 作为输入,stdout 作为输出)
-t:测试配置文件是否正确,然后退出。
3.1.3Logstash 的输入和输出流
1、定义输入和输出流
dart
#输入采用标准输入
#输出采用标准输出(类似管道)
#新版本默认使用 rubydebug 格式输出
logstash -e 'input { stdin{} } output { stdout{} }'
2、使用 rubydebug 输出详细格式显示
dart
#codec 为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
3.1.4Logstash配置文件
Logstash 配置文件基本由三部分组成:input、output 以及 filter。
filter部分选择性添加,可以没有。
input部分:
表示从数据源采集数据。
常见的数据源如Kafka、日志文件等。
file beats kafka redis stdin
dart
#基本格式
input {...}
filter部分:
数据处理层,包括对数据进行格式化处理、数据类型转换、数据过滤等,支持正则表达式。
dart
#基本格式
filter {...}
ouput部分:
表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。
elasticsearch stdout
dart
#基本格式
output {...}
在每个部分中,也可以指定多个访问方式
dart
#举个例子,若要指定两个日志来源文件,则格式如下:
input {
file { path =>"/var/log/messages" type =>"syslog"}
file { path =>"/var/log/httpd/access.log" type =>"apache"}
}
3.2ElasticSearch
Elasticsearch 提供了强大的搜索和分析引擎。
Elasticsearch 是一个分布式、实时的搜索和分析引擎。
它基于 Lucene 搜索引擎库构建,具有分布式搜索、实时数据分析、高性能和高可伸缩性的特点。
Elasticsearch 可以存储和索引大规模的数据(比如日志),并提供快速的全文搜索、条件过滤、聚合和分析功能。
3.3Kiabana
Kibana 提供了可视化和交互式分析的界面。
Kibana 是一个针对Elasticsearch的开源数据分析及可视化平台,用来搜索、查看交互存储在Elasticsearch索引中的数据。
使用Kibana,可以通过各种图表进行高级数据分析及展示,创建自定义仪表盘font>来展示关键指标和监控警报。
3.4Filebeat
3.4.1简介
轻量级的开源日志文件数据搜集器。
通常在需要采集数据的客户端安装 Filebeat
,并指定目录与日志格式,Filebeat
就能快速收集数据,并发送给 logstash
进行解析,或是直接发给 Elasticsearch
存储。
性能上相比运行于 JVM 上的 logstash
优势明显,是对它的替代。
常应用于 EFLK 架构当中。
3.4.2filebeat 结合 logstash 带来好处:
(1)通过 Logstash 具有基于磁盘的自适应缓冲系统,该系统将吸收传入的吞吐量,从而减轻 Elasticsearch
持续写入数据的压力;
(2)从其他数据源(例如数据库,S3对象存储或消息传递队列)中提取;
(3)将数据发送到多个目的地,例如S3,HDFS(Hadoop分布式文件系统)或写入文件;
(4)使用条件数据流逻辑组成更复杂的处理管道。
3.5缓存/消息队列(redis、kafka、RabbitMQ等)
对高并发日志数据进行流量削峰和缓冲。 对高并发日志数据进行流量削峰和缓冲。
3.6Fluentd
Fluentd是一个流行的开源数据收集器。
由于 logstash 太重量级的缺点,Logstash 性能低、资源消耗比较多等问题,随后就有 Fluentd 的出现。
相比较 logstash,Fluentd 更易用、资源消耗更少、性能更高,在数据处理上更高效可靠,受到企业欢迎,成为 logstash 的一种替代方案,常应用于 EFK 架构当中。
在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案。
在 Kubernetes 集群中一般是通过 DaemonSet 来运行 Fluentd,以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod。
它通过获取容器日志文件、过滤和转换日志数据,然后将数据传递到 Elasticsearch 集群,在该集群中对其进行索引和存储。
4、ELK的工作原理
(1)在所有需要收集日志的服务器上部署Logstash,或者先将日志进行集中化管理在日志服务器上,在日志服务器上部署 Logstash。
(2)Logstash 收集日志,将日志格式化并输出到 Elasticsearch 群集中。
(3)Elasticsearch 对格式化后的数据进行索引和存储。
(4)Kibana 从 ES 群集中查询数据生成图表,并进行前端数据的展示。
综上所述:
logstash作为日志搜集器,从数据源采集数据,并对数据进行过滤,格式化处理,然后交由Elasticsearch存储,kibana对日志进行可视化处理。
5、部署ELK(Logstash作为日志收集器)
ELK Elasticsearch 集群部署(在Node1、Node2节点上操作)
shell
环境准备
#关闭防火墙
systemctl stop firewalld
setenforce 0
#设置Java环境
java -version
dart
更改主机名、配置域名解析
Node1节点(192.168.190.100):
hostnamectl set-hostname node1
su
echo "192.168.190.100 node1" >> /etc/hosts
echo "192.168.190.200 node2" >> /etc/hosts
Node2节点(192.168.190.200):
hostnamectl set-hostname node2
su
echo "192.168.190.100 node1" >> /etc/hosts
echo "192.168.190.200 node2" >> /etc/hosts
Apache节点(192.168.190.101):
hostnamectl set-hostname apache
su
dart
部署 Elasticsearch 软件
安装elasticsearch---rpm包
#上传elasticsearch-6.7.2.rpm到/opt目录下
cd /opt
rpm -ivh elasticsearch-6.7.2.rpm
shell
修改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释,指定集群名字
cluster.name: my-elk-cluster
--23--取消注释,指定节点名字:Node1节点为node1,Node2节点为node2
node.name: node1
node.master: true #是否master节点,false为否
node.data: true #是否数据节点,false为否
--33--取消注释,指定数据存放路径
path.data: /var/lib/elasticsearch
--37--取消注释,指定日志存放路径
path.logs: /var/log/elasticsearch
--43--取消注释,避免es使用swap交换分区
bootstrap.memory_lock: true
--55--取消注释,设置监听地址,0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释,ES 服务的默认监听端口为9200
http.port: 9200 #指定es集群提供外部访问的接口
transport.tcp.port: 9300 #指定es集群内部通信接口
--68--取消注释,集群发现通过单播实现,指定要发现的节点
discovery.zen.ping.unicast.hosts: ["192.168.190.100:9300", "192.168.190.200:9300"]
shell
es 性能调优参数 需重启生效
#优化最大内存大小和最大文件描述符的数量
vim /etc/security/limits.conf
......
soft nofile 65536
hard nofile 65536
soft nproc 32000
hard nproc 32000
soft memlock unlimited
hard memlock unlimited
vim /etc/systemd/system.conf
DefaultLimitNOFILE=65536
DefaultLimitNPROC=32000
DefaultLimitMEMLOCK=infinity
shell
优化elasticsearch用户拥有的内存权限
由于ES构建基于lucene, 而lucene设计强大之处在于lucene能够很好的利用操作系统内存来缓存索引数据,以提供快速的查询性能。lucene的索引文件segements是存储在单文件中的,并且不可变,对于OS来说,能够很友好地将索引文件保持在cache中,以便快速访问;因此,我们很有必要将一半的物理内存留给lucene ; 另一半的物理内存留给ES(JVM heap )。所以, 在ES内存设置方面,可以遵循以下原则:
1.当机器内存小于64G时,遵循通用的原则,50%给ES,50%留给操作系统,供lucene使用
2.当机器内存大于64G时,遵循原则:建议分配给ES分配 4~32G 的内存即可,其它内存留给操作系统,供lucene使用
vim /etc/sysctl.conf
#一个进程可以拥有的最大内存映射区域数,参考数据(分配 2g/262144,4g/4194304,8g/8388608)
vm.max_map_count=262144
sysctl -p
sysctl -a | grep vm.max_map_count
dart
启动elasticsearch是否成功开启
systemctl start elasticsearch.service
systemctl status elasticsearch.service
dart
查看节点信息
浏览器访问 http://192.168.190.100:9200 、 http://192.168.190.200:9200 查看节点 Node1、Node2 的信息。
浏览器访问 http://192.168.190.100:9200/_cluster/health?pretty 、 http://192.168.190.200:9200/_cluster/health?pretty查看群集的健康情况,可以看到 status 值为 green(绿色), 表示节点健康运行。
#使用上述方式查看群集的状态对用户并不友好,可以通过安装 Elasticsearch-head 插件,可以更方便地管理群集。
dart
安装 Elasticsearch-head 插件
Elasticsearch 在 5.0 版本后,Elasticsearch-head 插件需要作为独立服务进行安装,需要使用npm工具(NodeJS的包管理工具)安装。
安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。
node:是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
phantomjs:是一个基于 webkit 的JavaScriptAPI,可以理解为一个隐形的浏览器,任何基于 webkit 浏览器做的事情,它都可以做到。
编译安装 node
#上传软件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -y
cd /opt
tar zxvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure
make && make install
dart
安装 phantomjs
#上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到
cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd /opt/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin
dart
安装 Elasticsearch-head 数据可视化工具
#上传软件包 elasticsearch-head-master.zip 到/opt
cd /opt
unzip elasticsearch-head-master.zip
cd /opt/elasticsearch-head/
npm install //安装依赖包
dart
修改 Elasticsearch 主配置文件
vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true #开启跨域访问支持,默认为 false
http.cors.allow-origin: "*" #指定跨域访问允许的域名地址为所有
systemctl restart elasticsearch
shell
启动 elasticsearch-head 服务
#必须在解压后的 elasticsearch-head 目录下启动服务,进程会读取该目录下的 gruntfile.js 文件,否则可能启动失败。
cd /usr/local/src/elasticsearch-head/
npm run start &
dart
通过 Elasticsearch-head 查看 Elasticsearch 信息
通过浏览器访问 http://192.168.190.100:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色,代表群集很健康。
shell
插入索引
#通过命令插入一个测试索引,索引为 index-demo,类型为 test。
curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
//输出结果如下:
{
"_index" : "index-demo",
"_type" : "test",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 2,
"failed" : 0
},
"created" : true
}
浏览器访问 http://192.168.190.100:9100/ 查看索引信息,可以看见索引默认被分片5个,并且有一个副本。
点击"数据浏览",会发现在node1上创建的索引为 index-demo,类型为 test 的相关信息。
ELK Logstash 部署(在 Apache 节点上操作)
shell
更改主机名
hostnamectl set-hostname apache
关闭防火墙
systemctl stop firewalld
setenforce 0
dart
安装Apahce服务(httpd)
yum -y install httpd
systemctl start httpd
shell
安装logstash
#上传软件包 logstash-6.7.2.rpm 到/opt目录下
cd /opt
rpm -ivh logstash-6.7.2.rpm
systemctl start logstash.service
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
shell
使用 Logstash 将信息写入 Elasticsearch 中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.190.100:9200"] } }'
shell
cd /etc/logstash/conf.d/
vim system.conf
input {
file{
path =>"/var/log/messages"
type =>"system"
start_position =>"beginning"
}
}
output {
elasticsearch {
hosts => ["192.168.190.100:9200","192.168.190.200:9200"]
index =>"system-%{+YYYY.MM.dd}"
}
}
dart
chmod +r /var/log/messages #让 Logstash 可以读取日志
dart
logstash -f system.conf
浏览器访问 http://192.168.190.100:9100/ 查看索引信息
ELK Kiabana 部署(在 Node1 节点上操作)
dart
安装 Kiabana
#上传软件包 kibana-6.7.2-x86_64.rpm 到/opt目录
cd /opt
rpm -ivh kibana-6.7.2-x86_64.rpm
shell
设置 Kibana 的主配置文件
vim /etc/kibana/kibana.yml
--2--取消注释,Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释,设置 Kiabana 的监听地址,0.0.0.0代表所有地址
server.host: "0.0.0.0"
--28--取消注释,配置es服务器的ip,如果是集群则配置该集群中master节点的ip
elasticsearch.url: ["http://192.168.80.10:9200","http://192.168.80.11:9200"]
--37--取消注释,设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"
--96--取消注释,配置kibana的日志文件路径(需手动创建),不然默认是messages里记录日志
logging.dest: /var/log/kibana.log
shell
创建日志文件,启动 Kibana 服务
touch /var/log/kibana.log
chown kibana:kibana /var/log/kibana.log
systemctl start kibana.service
systemctl status kibana.service
netstat -natp | grep 5601
shell
将 Apache 服务器的日志(访问的、错误的)添加到 Elasticsearch 并通过 Kibana 显示
vim /etc/logstash/conf.d/apache_log.conf
input {
file{
path => "/etc/httpd/logs/access_log"
type => "access"
start_position => "beginning"
}
file{
path => "/etc/httpd/logs/error_log"
type => "error"
start_position => "beginning"
}
}
output {
if [type] == "access" {
elasticsearch {
hosts => ["192.168.190.100:9200","192.168.190.200:9200"]
index => "apache_access-%{+YYYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch {
hosts => ["192.168.190.100:9200","192.168.190.200:9200"]
index => "apache_error-%{+YYYY.MM.dd}"
}
}
}
shell
cd /etc/logstash/conf.d/
logstash -f apache_log.conf
浏览器访问 http://192.168.190.100:9100 查看索引是否创建
Filebeat+ELK 部署
shell
在 Node1 节点上操作
1.安装 Filebeat
#上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录
tar zxvf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64/ /usr/local/filebeat
shell
设置 filebeat 的主配置文件
cd /usr/local/filebeat
vim filebeat.yml
filebeat.inputs:
type: log #指定 log 类型,从日志文件中读取消息
enabled: true
paths:
/var/log/messages #指定监控的日志文件
/var/log/*.log
tags: ["sys"] #设置索引标签
fields: #可以使用 fields 配置选项设置一些参数字段添加到 output 中
service_name: filebeat
log_type: syslog
from: 192.168.80.13