ELK + Filebeat 分布式日志管理平台部署

ELK + Filebeat 分布式日志管理平台部署

1、前言

在运维中,日志是非常重要的工具,用于记录系统、应用程序或设备的运行状态、事件和异常情况。

1.1日志分析的作用

(1)故障排除和问题诊断

日志是排查故障和诊断问题的关键信息源。

通过分析日志文件,可以查找和定位系统故障、错误和异常,帮助运维人员迅速找出问题的根本原因,并采取正确的修复措施。

(2)性能分析和优化

通过监视和分析系统日志,可以了解系统的性能瓶颈、资源消耗情况和关键指标。

运维人员可以根据日志中的数据,优化系统配置、调整资源分配,以提高系统的性能和响应能力。

(3)安全监控和威胁检测

日志可以帮助监控系统的安全性,并检测潜在的安全威胁。

通过分析日志,可以发现异常登录、未授权访问、恶意行为等安全问题,并及时采取措施进行应对和防范。

(4)运营分析和规划

通过日志分析,可以更好地了解用户需求,进行容量规划,制定有效的运维策略和决策。

(5)合规性和审计

通过记录和保留日志,可以应对合规性规定,并提供必要的审计跟踪,以满足法规和行业标准的要求。

因此,对于任何系统或应用程序,设置合适的日志记录和日志分析机制是非常重要的一环。

1.2需要收集的日志

系统日志:为监控做准备,要收集tomcat系统日志,tomcat所在节点的日志。
服务日志:比如数据库mysql,收集慢查询日志、错误日志、普通日志,要收集tomcat服务日志。
业务日志(业务日志必须收集):业务口子日志在log4j,log4j是由java环境开发的,跑在tomcat上。

1.3完整日志系统的基本特征

  • 收集:能够采集多种来源的日志数据
  • 传输:能够稳定的把日志数据解析过滤并传输到存储系统
  • 存储:存储日志数据
  • 分析:支持UI分析
  • 警告:能够提供错误报告,监控机制

2、ELK概述

2.1ELK简介

ELK平台是一套完整的日志集中处理解决方案。

将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用, 完成更强大的用户对日志的查询、排序、统计需求。

2.2为什么要用ELK?

集中化管理日志后,日志的统计和检索的效率降低。

ELK 提供了一个完整的日志管理和分析解决方案,能够帮助用户更好地理解数据、监控系统性能并进行故障排除。

2.3ELK的组件

基础组件:Elasticsearch、Logstash、Kibana

扩展组件:Filebeat、Fluentd

3、ELK组件详解

3.1Logstash

3.1.1简介

Logstash 实现了数据的收集和处理。

Logstash 是一个可扩展的数据收集、转换和传输工具。

它可以从各种来源(如日志文件、消息队列、数据库等)收集数据,并将其转换为统一的格式,然后发送到 Elasticsearch 进行存储和分析。

Logstash 提供了丰富的输入插件font>和输出插件,可以与各种数据源和目标进行集成。

它还具有强大的过滤功能,可以对数据进行处理、过滤和转换,以满足不同的业务需求。

3.1.2Logstash命令常用选项

dart 复制代码
#Logstash 命令常用选项

-f:通过这个选项可以指定 Logstash 的配置文件,根据配置文件配置 Logstash 的输入和输出流

-e:从命令行中获取,输入、输出后面跟着字符串,该字符串可以被当作 Logstash 的配置(如果是空,则默认使用 stdin 作为输入,stdout 作为输出)

-t:测试配置文件是否正确,然后退出。

3.1.3Logstash 的输入和输出流

1、定义输入和输出流

dart 复制代码
#输入采用标准输入
#输出采用标准输出(类似管道)
#新版本默认使用 rubydebug 格式输出
logstash -e 'input { stdin{} } output { stdout{} }'

2、使用 rubydebug 输出详细格式显示

dart 复制代码
#codec 为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

3.1.4Logstash配置文件

Logstash 配置文件基本由三部分组成:input、output 以及 filter。

filter部分选择性添加,可以没有。

input部分:

表示从数据源采集数据。

常见的数据源如Kafka、日志文件等。

file beats kafka redis stdin

dart 复制代码
#基本格式
input {...}

filter部分:

数据处理层,包括对数据进行格式化处理、数据类型转换、数据过滤等,支持正则表达式。

dart 复制代码
#基本格式
filter {...}


ouput部分:

表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。

elasticsearch stdout

dart 复制代码
#基本格式
output {...}

在每个部分中,也可以指定多个访问方式

dart 复制代码
#举个例子,若要指定两个日志来源文件,则格式如下:
input {
	file { path =>"/var/log/messages" type =>"syslog"}
	file { path =>"/var/log/httpd/access.log" type =>"apache"}
}

3.2ElasticSearch

Elasticsearch 提供了强大的搜索和分析引擎。

Elasticsearch 是一个分布式、实时的搜索和分析引擎。

它基于 Lucene 搜索引擎库构建,具有分布式搜索、实时数据分析、高性能和高可伸缩性的特点。

Elasticsearch 可以存储和索引大规模的数据(比如日志),并提供快速的全文搜索、条件过滤、聚合和分析功能。

3.3Kiabana

Kibana 提供了可视化和交互式分析的界面。

Kibana 是一个针对Elasticsearch的开源数据分析及可视化平台,用来搜索、查看交互存储在Elasticsearch索引中的数据。

使用Kibana,可以通过各种图表进行高级数据分析及展示,创建自定义仪表盘font>来展示关键指标和监控警报。

3.4Filebeat

3.4.1简介

轻量级的开源日志文件数据搜集器。

通常在需要采集数据的客户端安装 Filebeat,并指定目录与日志格式,Filebeat 就能快速收集数据,并发送给 logstash 进行解析,或是直接发给 Elasticsearch 存储。

性能上相比运行于 JVM 上的 logstash 优势明显,是对它的替代。
常应用于 EFLK 架构当中。

3.4.2filebeat 结合 logstash 带来好处:

(1)通过 Logstash 具有基于磁盘的自适应缓冲系统,该系统将吸收传入的吞吐量,从而减轻 Elasticsearch

持续写入数据的压力;

(2)从其他数据源(例如数据库,S3对象存储或消息传递队列)中提取;

(3)将数据发送到多个目的地,例如S3,HDFS(Hadoop分布式文件系统)或写入文件;

(4)使用条件数据流逻辑组成更复杂的处理管道。

3.5缓存/消息队列(redis、kafka、RabbitMQ等)

对高并发日志数据进行流量削峰和缓冲。 对高并发日志数据进行流量削峰和缓冲。

3.6Fluentd

Fluentd是一个流行的开源数据收集器。

由于 logstash 太重量级的缺点,Logstash 性能低、资源消耗比较多等问题,随后就有 Fluentd 的出现。

相比较 logstash,Fluentd 更易用、资源消耗更少、性能更高,在数据处理上更高效可靠,受到企业欢迎,成为 logstash 的一种替代方案,常应用于 EFK 架构当中。

在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案。

在 Kubernetes 集群中一般是通过 DaemonSet 来运行 Fluentd,以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod。

它通过获取容器日志文件、过滤和转换日志数据,然后将数据传递到 Elasticsearch 集群,在该集群中对其进行索引和存储。

4、ELK的工作原理

(1)在所有需要收集日志的服务器上部署Logstash,或者先将日志进行集中化管理在日志服务器上,在日志服务器上部署 Logstash。

(2)Logstash 收集日志,将日志格式化并输出到 Elasticsearch 群集中。

(3)Elasticsearch 对格式化后的数据进行索引和存储。

(4)Kibana 从 ES 群集中查询数据生成图表,并进行前端数据的展示。
综上所述:
logstash作为日志搜集器,从数据源采集数据,并对数据进行过滤,格式化处理,然后交由Elasticsearch存储,kibana对日志进行可视化处理。

5、部署ELK(Logstash作为日志收集器)

ELK Elasticsearch 集群部署(在Node1、Node2节点上操作)
shell 复制代码
环境准备

#关闭防火墙
systemctl stop firewalld
setenforce 0

#设置Java环境
java -version



dart 复制代码
更改主机名、配置域名解析

Node1节点(192.168.190.100):
hostnamectl set-hostname node1
su
echo "192.168.190.100 node1" >> /etc/hosts
echo "192.168.190.200 node2" >> /etc/hosts

Node2节点(192.168.190.200):
hostnamectl set-hostname node2
su
echo "192.168.190.100 node1" >> /etc/hosts
echo "192.168.190.200 node2" >> /etc/hosts
Apache节点(192.168.190.101):
hostnamectl set-hostname apache
su




dart 复制代码
部署 Elasticsearch 软件

安装elasticsearch---rpm包
#上传elasticsearch-6.7.2.rpm到/opt目录下
cd /opt
rpm -ivh elasticsearch-6.7.2.rpm


shell 复制代码
修改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释,指定集群名字
cluster.name: my-elk-cluster
--23--取消注释,指定节点名字:Node1节点为node1,Node2节点为node2
node.name: node1
node.master: true		#是否master节点,false为否
node.data: true			#是否数据节点,false为否
--33--取消注释,指定数据存放路径
path.data: /var/lib/elasticsearch
--37--取消注释,指定日志存放路径
path.logs: /var/log/elasticsearch
--43--取消注释,避免es使用swap交换分区
bootstrap.memory_lock: true
--55--取消注释,设置监听地址,0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释,ES 服务的默认监听端口为9200
http.port: 9200					#指定es集群提供外部访问的接口
transport.tcp.port: 9300		#指定es集群内部通信接口
--68--取消注释,集群发现通过单播实现,指定要发现的节点
discovery.zen.ping.unicast.hosts: ["192.168.190.100:9300", "192.168.190.200:9300"]







shell 复制代码
es 性能调优参数  需重启生效
#优化最大内存大小和最大文件描述符的数量
vim /etc/security/limits.conf
......

soft    nofile          65536
hard    nofile          65536
soft    nproc           32000
hard    nproc           32000
soft    memlock         unlimited
hard    memlock         unlimited

vim /etc/systemd/system.conf
DefaultLimitNOFILE=65536
DefaultLimitNPROC=32000
DefaultLimitMEMLOCK=infinity




shell 复制代码
优化elasticsearch用户拥有的内存权限
由于ES构建基于lucene, 而lucene设计强大之处在于lucene能够很好的利用操作系统内存来缓存索引数据,以提供快速的查询性能。lucene的索引文件segements是存储在单文件中的,并且不可变,对于OS来说,能够很友好地将索引文件保持在cache中,以便快速访问;因此,我们很有必要将一半的物理内存留给lucene ; 另一半的物理内存留给ES(JVM heap )。所以, 在ES内存设置方面,可以遵循以下原则:
1.当机器内存小于64G时,遵循通用的原则,50%给ES,50%留给操作系统,供lucene使用
2.当机器内存大于64G时,遵循原则:建议分配给ES分配 4~32G 的内存即可,其它内存留给操作系统,供lucene使用

vim /etc/sysctl.conf
#一个进程可以拥有的最大内存映射区域数,参考数据(分配 2g/262144,4g/4194304,8g/8388608)
vm.max_map_count=262144

sysctl -p
sysctl -a | grep vm.max_map_count



dart 复制代码
启动elasticsearch是否成功开启
systemctl start elasticsearch.service
systemctl status elasticsearch.service


dart 复制代码
查看节点信息
浏览器访问  http://192.168.190.100:9200  、 http://192.168.190.200:9200 查看节点 Node1、Node2 的信息。

浏览器访问 http://192.168.190.100:9200/_cluster/health?pretty  、 http://192.168.190.200:9200/_cluster/health?pretty查看群集的健康情况,可以看到 status 值为 green(绿色), 表示节点健康运行。

#使用上述方式查看群集的状态对用户并不友好,可以通过安装 Elasticsearch-head 插件,可以更方便地管理群集。



dart 复制代码
安装 Elasticsearch-head 插件
Elasticsearch 在 5.0 版本后,Elasticsearch-head 插件需要作为独立服务进行安装,需要使用npm工具(NodeJS的包管理工具)安装。
安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。
node:是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
phantomjs:是一个基于 webkit 的JavaScriptAPI,可以理解为一个隐形的浏览器,任何基于 webkit 浏览器做的事情,它都可以做到。

编译安装 node
#上传软件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -y

cd /opt
tar zxvf node-v8.2.1.tar.gz

cd node-v8.2.1/
./configure
make && make install




dart 复制代码
安装 phantomjs
#上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到
cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd /opt/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin
dart 复制代码
安装 Elasticsearch-head 数据可视化工具
#上传软件包 elasticsearch-head-master.zip 到/opt
cd /opt
unzip elasticsearch-head-master.zip
cd /opt/elasticsearch-head/
npm install		 //安装依赖包


dart 复制代码
修改 Elasticsearch 主配置文件
vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true				#开启跨域访问支持,默认为 false
http.cors.allow-origin: "*"			#指定跨域访问允许的域名地址为所有

systemctl restart elasticsearch


shell 复制代码
启动 elasticsearch-head 服务
#必须在解压后的 elasticsearch-head 目录下启动服务,进程会读取该目录下的 gruntfile.js 文件,否则可能启动失败。
cd /usr/local/src/elasticsearch-head/
npm run start &
dart 复制代码
通过 Elasticsearch-head 查看 Elasticsearch 信息
通过浏览器访问 http://192.168.190.100:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色,代表群集很健康。
shell 复制代码
插入索引
#通过命令插入一个测试索引,索引为 index-demo,类型为 test。
curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
//输出结果如下:
{
"_index" : "index-demo",
"_type" : "test",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 2,
"failed" : 0
},
"created" : true
}

浏览器访问 http://192.168.190.100:9100/ 查看索引信息,可以看见索引默认被分片5个,并且有一个副本。
点击"数据浏览",会发现在node1上创建的索引为 index-demo,类型为 test 的相关信息。


ELK Logstash 部署(在 Apache 节点上操作)
shell 复制代码
更改主机名
hostnamectl set-hostname apache

关闭防火墙
systemctl stop firewalld
setenforce 0
dart 复制代码
安装Apahce服务(httpd)
yum -y install httpd
systemctl start httpd


shell 复制代码
安装logstash
#上传软件包 logstash-6.7.2.rpm 到/opt目录下
cd /opt
rpm -ivh logstash-6.7.2.rpm                          
systemctl start logstash.service                      
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/


shell 复制代码
使用 Logstash 将信息写入 Elasticsearch 中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.190.100:9200"] } }'


shell 复制代码
cd /etc/logstash/conf.d/
vim system.conf

input {
    file{
        path =>"/var/log/messages"
        type =>"system"
        start_position =>"beginning"
    }
}
output {
    elasticsearch {                                                                                     
        hosts => ["192.168.190.100:9200","192.168.190.200:9200"]        
        index =>"system-%{+YYYY.MM.dd}"                                                 
    }
}
dart 复制代码
chmod +r /var/log/messages  #让 Logstash 可以读取日志
dart 复制代码
logstash -f system.conf

浏览器访问 http://192.168.190.100:9100/ 查看索引信息


ELK Kiabana 部署(在 Node1 节点上操作)
dart 复制代码
安装 Kiabana
#上传软件包 kibana-6.7.2-x86_64.rpm 到/opt目录
cd /opt
rpm -ivh kibana-6.7.2-x86_64.rpm
shell 复制代码
设置 Kibana 的主配置文件
vim /etc/kibana/kibana.yml
--2--取消注释,Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释,设置 Kiabana 的监听地址,0.0.0.0代表所有地址
server.host: "0.0.0.0"
--28--取消注释,配置es服务器的ip,如果是集群则配置该集群中master节点的ip
elasticsearch.url:  ["http://192.168.80.10:9200","http://192.168.80.11:9200"] 
--37--取消注释,设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"
--96--取消注释,配置kibana的日志文件路径(需手动创建),不然默认是messages里记录日志
logging.dest: /var/log/kibana.log



shell 复制代码
创建日志文件,启动 Kibana 服务
touch /var/log/kibana.log
chown kibana:kibana /var/log/kibana.log

systemctl start kibana.service
systemctl status kibana.service

netstat -natp | grep 5601
shell 复制代码
将 Apache 服务器的日志(访问的、错误的)添加到 Elasticsearch 并通过 Kibana 显示
vim /etc/logstash/conf.d/apache_log.conf
input {
    file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
    }
    file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
    }
}
output {
    if [type] == "access" {
        elasticsearch {
            hosts => ["192.168.190.100:9200","192.168.190.200:9200"]
            index => "apache_access-%{+YYYY.MM.dd}"
        }
    }
	if [type] == "error" {
        elasticsearch {
            hosts => ["192.168.190.100:9200","192.168.190.200:9200"]
            index => "apache_error-%{+YYYY.MM.dd}"
        }
    }
}
shell 复制代码
cd /etc/logstash/conf.d/
logstash -f apache_log.conf

浏览器访问 http://192.168.190.100:9100 查看索引是否创建
Filebeat+ELK 部署
shell 复制代码
在 Node1 节点上操作
1.安装 Filebeat
#上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录
tar zxvf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64/ /usr/local/filebeat


shell 复制代码
设置 filebeat 的主配置文件
cd /usr/local/filebeat

vim filebeat.yml
filebeat.inputs:

type: log         #指定 log 类型,从日志文件中读取消息
enabled: true
paths:

/var/log/messages       #指定监控的日志文件

/var/log/*.log
tags: ["sys"]		#设置索引标签
fields:           #可以使用 fields 配置选项设置一些参数字段添加到 output 中
  service_name: filebeat
  log_type: syslog
  from: 192.168.80.13
相关推荐
运维&陈同学2 小时前
【zookeeper01】消息队列与微服务之zookeeper工作原理
运维·分布式·微服务·zookeeper·云原生·架构·消息队列
时差9532 小时前
Flink Standalone集群模式安装部署
大数据·分布式·flink·部署
菠萝咕噜肉i2 小时前
超详细:Redis分布式锁
数据库·redis·分布式·缓存·分布式锁
只因在人海中多看了你一眼5 小时前
分布式缓存 + 数据存储 + 消息队列知识体系
分布式·缓存
zhixingheyi_tian8 小时前
Spark 之 Aggregate
大数据·分布式·spark
求积分不加C9 小时前
-bash: ./kafka-topics.sh: No such file or directory--解决方案
分布式·kafka
nathan05299 小时前
javaer快速上手kafka
分布式·kafka
谭震鸿13 小时前
Zookeeper集群搭建Centos环境下
分布式·zookeeper·centos
天冬忘忧18 小时前
Kafka 工作流程解析:从 Broker 工作原理、节点的服役、退役、副本的生成到数据存储与读写优化
大数据·分布式·kafka
IT枫斗者1 天前
如何解决Java EasyExcel 导出报内存溢出
java·服务器·开发语言·网络·分布式·物联网