ELK企业级日志分析系统

一、ELK日志分析系统简介

ELK平台是一套完整的日志集中处理解决方案,将ElasticSearch、Logstash和Kiabana三个开源工具配合使用,完成更强大的用户对日志的查询、排序、统计需求。

1.1ELK组件介绍

ElasticSearch

是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志。

Elasticsearch 是用 Java 开发的,可通过 REsTful web 接口,让用户可以通过浏览器与Elasticsearch 调信。

Elasticsearch是一个实时的、分布式的可扩展的搜索引擎,允许进行全文、结构化搜索,它通常用于索引和搜索大容量的日志数据,也可用于搜索许多不同类型的文档。

Elasticsearch核心概念

接近实时、集群、节点、索引、索引(库)->类型(表)->文档(记录)、分片和副本

Logstash

作为数据收集引擎。它支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储到用户指定的位置。一般会发送给Elasticsearch。

由Ruby 语言编写,运行在Java虚拟机(JVM)上,是一款强大的数据处理工具,可以实现数据传输、格式处理、格式化输出。Logstash具有强大的插件功能,常用于日志处理。

input(数据采集) > filter(数据过滤) > output(数据输出)

Kiabana

Kibana 通常与ElasticSearch一起部署,Kibana是Elasticsearch的一个功能强大的数据可视化 Dashboard,**Kibana提供图形化的web界面来浏览Elasticsearch日志数据,可以用来汇总、分析和搜索重要数据。**kibana主要功能:整合数据,复杂数据分析,接口灵活分享更容易,配置简单、可视化多数据源简单数据导出

1.2 ELFK组件介绍(Filebeat)

是一款轻量级的开源日志文件数据搜索器。通常在需要采集数据的客户端安装 Filebeat,并指定目录与日志格式,能快速收集数据,并发送给 Logstash 进行解析,或是直接发给 ES 存储,性能上相比运行于 JVM 上的 Logstash 优势明显,是对它的替代。

1.2.1 filebeat 结合 logstash 带来好处:

通过 Logstash 具有基于磁盘的自适应缓冲系统,该系统将吸收传入的吞吐量,从而减轻 Elasticsearch 持续写入数据的压力

从其他数据源(例如数据库,S3对象存储或消息传递队列)中提取

将数据发送到多个目的地,例如S3,HDFS(Hadoop分布式文件系统)或写入文件

使用条件数据流逻辑组成更复杂的处理管道

1.2.2日志的集中化管理 beats 包括四种工具:

Packetbeat(搜索网络流量数据)

Topbeat(搜索系统、进程和文件系统级别的 CPU 和内存使用情况等数据)

Filebeat(搜集文件数据)

Winlogbeat(搜集 Windows 时间日志数据)

1.3 其它组件

缓存/消息队列(redis、kafka、RabbitMQ等)

可以对高并发日志数据进行流量削峰和缓冲,这样的缓冲可以一定程度的保护数据不丢失,还可以对整个架构进行应用解耦。

Fluentd

是一个流行的开源数据收集器。由于 logstash 太重量级的缺点,Logstash 性能低、资源消耗比较多等问题,随后就有 Fluentd 的出现。相比较 logstash,Fluentd 更易用、资源消耗更少、性能更高,在数据处理上更高效可靠,受到企业欢迎,成为 logstash 的一种替代方案,常应用于 EFK 架构当中。在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案。

在 Kubernetes 集群中一般是通过 DaemonSet 来运行 Fluentd,以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod。

它通过获取容器日志文件、过滤和转换日志数据,然后将数据传递到 Elasticsearch 集群,在该集群中对其进行索引和存储。

1.4 完整日志系统的基本特征

  • 收集:能够采集多种来源的日志数据
  • 传输:能够稳定的把日志数据解析过滤并传输到存储系统
  • 存储:存储日志数据
  • 分析:支持 UI 分析
  • 警告:能够提供错误报告,监控机制

1.5 端口

ES的默认监听端口 9200

kibana默认端口是5601

elastic search-head 监听端口 9100

1.6 ELK的工作原理

(1)在所有需要`收集日志`的服务器上部署Logstash;或者先将日志进行集中化管理在日志服务器上,在日志服务器上部署 Logstash。

(2)Logstash 收集日志,将日志格式化并`输出`到 Elasticsearch 群集中。

(3)Elasticsearch 对格式化后的数据进行`索引和存储`。

(4)Kibana 从 ES 群集中查询数据生成图表,并进行`前端数据`的展示。

在所有需要收集日志的服务器上部署Logstash;或者先将日志进行集中化管理在日志服务器上,在日志服务器上部署 Logstash。

Logstash 收集日志,将日志格式化并输出到 Elasticsearch 群集中。

Elasticsearch 对格式化后的数据进行索引和存储。

Kibana 从 ES 群集中查询数据生成图表,并进行前端数据的展示。

总结:Logstash作为日志搜集器,从数据源采集数据,并对数据进行过滤,格式化处理,然后交由Elasticsearch索引和存储,kibana去连接ES对日志进行可视化处理。

【1】将日志进行集中化管理(Beats)

管理包含四种工具:

Packetbeat(搜集网络流量数据)

Topbeat(搜集系统、进程和文件系统级别的CPU和内存使用情况等数据)

Filebeat(搜集文件数据)

Winlogbeat(搜集Windows事件日志数据)

【2】将日志格式化(Logstash)并输出到Elasticsearch

【3】对格式化后的数据进行索引和存储(Elasticsearch)

【4】前端数据的展示(Kibana)

二、Elasticsearch的介绍

提供了一个分布式多用户能力的全文搜索引擎

Elasticsearch的核心:

1️⃣、接近实时(NRT)

Elasticsearch是一个接近实时的搜索平台,这意味着,从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)

2️⃣、集群(cluster)

一个集群就是由一个或者多个节点组织在一起,它们共同持有你整个的数据,并一起提供索引和搜索功能。其中一个为主节点,这个主节点是可以通过选举产生的,并提供跨节点的联合索引和搜索功能。

集群有一个唯一性标示的名字,默认是Elasticsearch,集群的名字很重要,每个节点是基于集群名字加入到集群中的。因此,确保在不同的环境中使用不同的集群名字。

一个集群可以只有一个节点,建议在配置Elasticsearch时,配置成集群模式。

Elasticsearch具有集群机制,节点通过集群名称加入到集群中,同时在集群中的节点会有一个自己唯一的身份标识(自己的名称)

3️⃣、节点(node)

节点就是一台单一的服务器,是集群的一部分,存储数据并参与集群的索引和搜索功能。像集群一样,节点也是通过名字来标识,默认是在节点启动时随机分配的字符名。也可自己定义,名字很重要,在集群中用于识别服务器对应的节点

节点可以通过指定集群名字来加入到集群中。默认情况下,每个节点被设置成加入到Elasticsearch集群。如果启动了多个节点,假设能自动发现对方,他们将会自动组建一个名为Elasticsearch的集群。

4️⃣、索引(index)

一个索引就是一个拥有几分相似特征的文档的集合。

一个索引由一个名字来标识(必须全部是小写字母),并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候。都要使用到这个名字。在一个集群中,可以定义任意多的索引。

5️⃣、类型(type)

在一个索引中,你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区,其语义完全由你来定。

通常会为具有一组共同字段的文档定义一个类型。

6️⃣、文档(document)

一个文档是一个可被索引的基础信息单元

在一个index/type里面,只要你想,你可以存储任意多的文档。注意,虽然一个文档在物理上位于一个索引中,实际上一个文档必须在一个索引内被索引和分配一个类型

7️⃣、分片和副本(shards & replicas)也是es作为搜索引擎比较快的原因

实际情况下,索引存储的数据可能超过单个节点的硬件限制。为了解决这个问题,Elasticsearch提供将索引分成多个分片的功能。当在创建索引时,可以定义想要的分片数量。每一个分片就是一个全功能的独立的索引,可以位于集群中任何节点上。

分片的主要原因:

水平分割扩展,增大存储量

分布式并跨越分片操作,提高性能和吞吐量

分布式分片机制和搜索请求的文档如何火鬃完全是由Elasticsearch控制的,这些对用户是完全透明的。

为了健壮性,建议有一个故障切换机制,为此,Elasticsearch让我们将索引分片复制一份或多份,称之为分片副本

分片副本的原因:

高可用性,以应对分片或者节点故障。处于这个原因,分片副本要在不同的节点上

增大吞吐量,搜索可以并行在所有副本上执行

总之,每个索引可以被分成多个分片。一个索引可以被复制0次或者多次。一旦复制了,每个索引就有了主分片 (作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分片和副本的数量可以在索引创建的时候指定。在索引创建之后,你可以在指定任何时候动态的改变副本的数量,但是你事后不能改变分片的数量。

默认情况下,Elasticsearch中的每个索引被分片5个主分片和1个副本,这意味着,如果你的集群中至少有两个节点,你的索引将会有5个主分片和另外的5个副本分片(一个完全拷贝),这样的话每个索引总共有10个分片。

8️⃣ 相关概念在关系型数据库和ElasticSearch中的对应关系

|-------------|------------------------------------|
| 关系型数据库 | Elasticserch |
| 数据库database | 索引index,支持全文索引 |
| 表table | 类型type |
| 数据行row | 文档document。但不需要固定结构,不同文档可以具有不同字段集合 |
| 数据列cloumn | 字段field |
| 模式schema | 映像mapping |

三.Logstash的介绍

3.1 Logstash简介

Logstash由JRuby语言编写,基于消息(message-based)的简单架构,并运行在java虚拟机(JVM)上。不同于分离的代理端(agent)或主机端(server),Logstash可配置单一的代理端与其他开源软件结合,以实现不同的功能。

是一款强大的数据处理工具、

可实现数据传输,格式处理,格式化输出

数据输入、数据加工(如过滤,改写等)以及数据输出

3.2 Logstash 命令常用选项

|----------|--------------------------------------------------------------------------------|
| 常用选项 | 说明 |
| -f | 通过这个选项可以指定 Logstash 的配置文件,根据配置文件配置 Logstash 的输入和输出流 |
| -e | 从命令行中获取,输入、输出后面跟着字符串,该字符串可以被当做 Logstash 的配置(如果是空,则默认使用 stdin 作为输入,stdout 作为输出) |
| -t | 测试配置文件是否正确,然后退出 |

3.3 常用插件:

  • **input:**收集源数据(访问日志、错误日志等)

  • **Filter Plugin:**用于过滤日志和格式处理

  • **Output:**输出日志

  • 收集(Input): Logstash 可以从多种来源收集数据,比如文件、日志、消息队列、网络接口等。输入插件负责从指定的源头收集数据。

  • 处理(Filter): 收集到的数据可能需要经过处理,比如解析成结构化数据、清洗、过滤、标准化等。这一步通过插件进行,插件称为过滤器(Filter)。

  • 输出(Output): 处理后的数据会被发送到一个或多个目的地,这可以是各种数据存储器或者其他数据处理系统。输出插件负责将数据发送至指定目的地。

3.4 主要组件:

Shipper(日志收集):负责监控本地日志文件的变化,及时把日志 文件的最新内容收集起来。通常,远程代理端(agent)只需要运行这个组件即可

Indexer(日志存储):负责接收日志并写入到本地文件

Broker(日志Hub):负责连接多个Shipper和多个Indexer

Search and Storage:允许对事件进行搜索和存储

Web Interface:基于Web的展示界面

3.5 Logstash主机分类:

代理主机(agent host):作为事件的传递者(Shipper),将各种日志数据发送至中心主机,只需运行Logstash代理程序

中心主机(central host):可运行包括中间转发器(Broker)、索引器(Indexer)、搜索和存储器(Search and Storage)、Web界面端(Web Interface)在内的各个组件,以实现对日志数据的接收、处理和存储

四、Kibana的介绍

kibana 是用于在 Elasticsearch 中可视化数据的强大工具,可通过基于浏览器的界面轻松搜索,可视化和探索大量数据。

  • 一个针对Elasticsearch的开源分析及可视化平台
  • 搜索、查看存储在Elasticsearch索引中的数据
  • 通过各种图表进行高级数据分析及展示

4.1 Kibana主要功能:

Elasticsearch无缝之集成:

Kibana架构为Elasticsearch定制,可以将任何结构化和非结构化数据加入Elasticsearch索引。Kibana还充分利用了Elasticsearch强大的搜索和分析功能。

整合数据:

Kibana能够更好地处理海量数据,并据此创建柱形图、折线图、散点图、直方图、饼图和地图。

复杂数据分析。

Kibana提升了Elasticsearch分析能力,能够更加智能地分析数据,执行数学转换并且根据要求对数据切割分块。

让更多团队成员收益:

强大的数据库可视化接口让各业务岗位都能够从数据集合受益。

接口灵活,分享更容易:

使用Kibana可以更加方便地创建、保存、分享数据,并将可视化数据快速交流。

配置简单:

Kibana的配置和启用非常简单,用户体验非常友好。Kibana自带Web服务器,可以快速启动运行。

可视化多数据源:

Kibana可以非常方便地把来自Logstash、ES-Hadoop、Beats或第三方技术的数据整合到Elasticsearch,支持的第三方技术包括Apache flume、 Fluentd 等。

简单数据导出:

Kibana可以方便地导出感兴趣的数据,与其它数据集合并融合后快速建模分析,发现新结果。

五、部署ELK日志分析系统

5.1 环境准备

|----------|--------------------------------|------------------------|------|
| 服务器类型 | 系统和ip地址 | 需要安装的组件 | 硬件方面 |
| node01节点 | CentOS7.4(64 位) 192.168.200.12 | Elasticsearch 、 Kibana | 2核3G |
| node02节点 | CentOS7.4(64 位) 192.168.200.13 | Elasticsearch | 2核3G |
| Apache节点 | CentOS7.4(64 位) 192.168.200.14 | Logstash Apache | 2核3G |

所有服务器关闭防火墙和SElinux

systemctl stop firewalld

setenforce 0

更改主机名、配置域名解析

Node1节点(192.168.200.12):

hostnamectl set-hostname node1

bash

echo "192.168.200.12 node1" >> /etc/hosts

echo "192.168.200.13 node2" >> /etc/hosts

Node2节点(192.168.200.13):

hostnamectl set-hostname node2

bash

echo "192.168.200.12 node1" >> /etc/hosts

echo "192.168.200.13 node2" >> /etc/hosts

Apache节点(192.168.200.14):

hostnamectl set-hostname apache

bash

5.2 ELK Elasticsearch 集群部署(在Node1、Node2节点上操作)

#查看Java环境,如果没有安装,yum -y install java

java -version

在生产环境中最好安装jdk

rpm 安装 jdk (方法一)

cd /opt

rz -E #将软件包传至该目录下

rpm -ivh jdk-8u201-linux-x64.rpm

vim /etc/profile.d/java.sh

export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64

export CLASSPATH=.:JAVA_HOME/lib/tools.jar:JAVA_HOME/lib/dt.jar

export PATH=JAVA_HOME/bin:PATH

#注释:

1.输出定义java的工作目录

2.输出指定java所需的类文件

3.输出重新定义环境变量,PATH一定要放在JAVA_HOME的后面,让系统先读取到工作目录中的版本信息

source /etc/profile.d/java.sh

java -version

5.3 部署 Elasticsearch 软件**(在Node1、Node2节点上操作)**

安装 elasticsearch-rpm 包

#上传elasticsearch-5.5.0.rpm到/opt目录下
cd /opt
rz -E
rpm -ivh elasticsearch-5.5.0.rpm

加载系统服务

systemctl daemon-reload && systemctl enable elasticsearch.service

修改 Elasticsearch 主配置文件

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

vim /etc/elasticsearch/elasticsearch.yml


--17--取消注释,指定集群名字

cluster.name: my-elk-cluster

--23--取消注释,指定节点名字:Node1节点为node1,Node2节点为node2

node.name: node1

--33--取消注释,指定数据存放路径

path.data: /data/elk_data

--37--取消注释,指定日志存放路径

path.logs: /var/log/elasticsearch/

--43--取消注释,改为在启动的时候不锁定内存

bootstrap.memory_lock: false

--55--取消注释,设置监听地址,0.0.0.0代表所有地址

network.host: 0.0.0.0

--59--取消注释,ES 服务的默认监听端口为9200

http.port: 9200

--68--取消注释,集群发现通过单播实现,指定要发现的节点 node1、node2

discovery.zen.ping.unicast.hosts: ["node1", "node2"]


grep -v "^#" /etc/elasticsearch/elasticsearch.yml

#####此处我是两个节点同时操作的,也可以只在node1节点操作然后将配置好的文件用 scp 传至 node2,后续只用去改个节点名字即可######

scp /etc/elasticsearch/elasticsearch.yml root@192.168.79.27:/etc/elasticsearch/elasticsearch.yml

创建数据存放路径并授权、启动服务并查看端口是否开启

此处只演示node1节点操作(node1和node2都要操作)

创建数据存放路径并授权

mkdir -p /data/elk_data

chown elasticsearch:elasticsearch /data/elk_data/

启动elasticsearch是否成功开启

systemctl start elasticsearch.service #启动较慢,需等待

ss -antp | grep 9200

查看节点信息

浏览器访问 http://192.168.200.12:9200http://192.168.200.13:9200 查看节点 Node1、Node2 的信息。

浏览器访问 http://192.168.200.12:9200/_cluster/health?prettyhttp://192.168.200.13:9200/_cluster/health?pretty查看群集的健康情况,可以看到 status 值为 green(绿色), 表示节点健康运行。

绿色:健康 数据和副本 全都没有问题

红色:数据都不完整

黄色:数据完整,但副本有问题

5.4 安装 Elasticsearch-head 插件(在Node1、Node2节点上操作)

ES 在 5.0 版本后,插件需要作为独立服务进行安装,需要使用 npm 工具(NodeJS 的包管理工具)安装。安装 Elasticsarch-head 需要提前安装好依赖软件 node 和 phantomjs。

node是一个基于 Chrome V8 引擎的 JavaScript 运行环境。

phantomjs是一个基于 webkit 的 JavaScriptAPI,可以理解为一个隐形的浏览器,任何基于 webkit 浏览器做的事情,它都可以做到

编译安装 node

#上传软件包 node-v8.2.1.tar.gz 到/opt

yum install gcc gcc-c++ make -y

cd /opt

rz -E

tar zxvf node-v8.2.1.tar.gz

cd node-v8.2.1/

./configure

make -j2 && make install 大概需要十五分钟左右

5.4.1安装 phantomjs(前端的框架)

#上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到

cd /opt

tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/

cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin

cp phantomjs /usr/local/bin

5.4.2 安装 Elasticsearch-head 数据可视化工具

#上传软件包 elasticsearch-head.tar.gz 到/opt

cd /opt

rz -E

tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/

cd /usr/local/src/elasticsearch-head/

npm install

修改 Elasticsearch 主配置文件

**vim /etc/elasticsearch/elasticsearch.yml

--末尾添加以下内容--
http.cors.enabled: true #开启跨域访问支持,默认为 false
http.cors.allow-origin: "*" #指定跨域访问允许的域名地址为所有

systemctl restart elasticsearch**

5.4.3 启动 Elasticsearch-head 服务

#必须在解压后的 elasticsearch-head 目录下启动服务,进程会读取该目录下的 gruntfile.js 文件,否则可能启动失败。

cd /usr/local/src/elasticsearch-head/

npm run start &

> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head

> grunt server

Running "connect:server" (connect) task

Waiting forever...

Started connect web server on http://localhost:9100

#elasticsearch-head 监听的端口是 9100

ss -natp |grep 9100

5.4.4 通过 Elasticsearch-head 查看 Elasticsearch 信息

通过浏览器访问 http://192.168.200.13:9100/ 地址并连接群集。

如果看到群集健康值为 green 绿色,代表群集很健康。

注意:有的时候显示未连接,这时将 localhost 改成 IP 地址即可

5.5 插入索引

#通过命令插入一个测试索引,索引为 index-demo,类型为 test。

curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

//输出结果如下:

{

"_index" : "index-demo",

"_type" : "test",

"_id" : "1",

"_version" : 1,

"result" : "created",

"_shards" : {

"total" : 2,

"successful" : 2,

"failed" : 0

},

"created" : true

}

浏览器查看索引信息

浏览器访问 http://192.168.200.12:9100/ 查看索引信息,

可以看见索引默认被分片5个,并且有一个副本。

点击"数据浏览",会发现在node1上创建的索引为 index-demo,类型为 test 的相关信息。

5.6 部署 Logstash(在 Apache 节点上操作)

Logstash 一般部署在需要监控其日志的服务器。在本案例中,Logstash 部署在 Apache 服务器上,用于收集 Apache 的日志信息并发送到 Elasticsearch。

5.6.1 安装 Apache 服务(httpd)

yum install httpd -y
systemctl start httpd && systemctl enable httpd

5.6.2 安装 Java 环境

yum -y install java

java -version

5.6.3 安装 Logstash

#上传软件包 logstash-5.5.1.rpm 到/opt目录下

cd /opt

rz -E

rpm -ivh logstash-5.5.1.rpm

systemctl start logstash.service

systemctl enable logstash.service

ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

5.6.4 测试 Logstash

定义输入和输出流:

#输入采用标准输入,输出采用标准输出(类似管道)

logstash -e 'input { stdin{} } output { stdout{} }'

rubydebug 输出:

#使用 rubydebug 输出详细格式显示,codec 为一种编解码器

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

输出到 ES:

#使用 Logstash 将信息写入 Elasticsearch 中

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.79.26:9200"] } }'

定义 Logstash 配置文件

Logstash 配置文件基本由三部分组成:input、output 以及 filter(可选,根据需要选择使用)。

input:表示从数据源采集数据,常见的数据源如Kafka、日志文件等

filter:表示数据处理层,包括对数据进行格式化处理、数据类型转换、数据过滤等,支持正则表达式

output:表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。

#在每个部分中,也可以指定多个访问方式。例如,若要指定两个日志来源文件,则格式如下:

input {

file { path =>"/var/log/messages" type =>"syslog"}

file { path =>"/var/log/httpd/access.log" type =>"apache"}

}

访问测试

浏览器访问 http://192.168.200.12:9100 查看索引信息

5.7 部署 Kibana(在 node1 节点上操作)

5.7.1 安装 Kibana

下载地址:https://www.elastic.co/cn/downloads/past-releases/kibana-5-5-1

#上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录

cd /opt

rz -E

rpm -ivh kibana-5.5.1-x86_64.rpm

5.7.2 设置 Kibana 的主配置文件

#备份配置文件

cp /etc/kibana/kibana.yml /etc/kibana/kibana.yml.bak

#修改配置文件

vim /etc/kibana/kibana.yml


--2--取消注释,Kiabana 服务的默认监听端口为5601

server.port: 5601

--7--取消注释,设置 Kiabana 的监听地址,0.0.0.0代表所有地址

server.host: "0.0.0.0"

--21--取消注释,设置和 Elasticsearch 建立连接的地址和端口

elasticsearch.url: "http://192.168.10.13:9200"

--30--取消注释,设置在 elasticsearch 中添加.kibana索引

kibana.index: ".kibana"

5.7.3 启动 Kibana 服务

systemctl start kibana.service

systemctl enable kibana.service

nohup ./kibana & #放入后台启动

ss -natp | grep 5601

5.7.4 验证 Kibana

浏览器访问 http://192.168.200.12:5601

第一次登录需要添加一个 ES 索引

点击 create 创建

索引添加完成后,点击 Discover 按钮可查看图表信息及日志信息

数据展示可以分类显示,例如:

输入:system-* #在索引名中输入之前配置的 Output 前缀"system"

单击 "create" 按钮创建,单击 "Discover" 按钮可查看图表信息及日志信息。

数据展示可以分类显示,在"Available Fields"中的"host",然后单击 "add"按钮,可以看到按照"host"筛选后的结果

5.7.5 将 Apache 服务器日志(访问的、错误的)添加到 ES 并通过 Kibana 显示

vim /etc/logstash/conf.d/apache_log.conf


input {

file{

path => "/etc/httpd/logs/access_log"

type => "access"

start_position => "beginning"

}

file{

path => "/etc/httpd/logs/error_log"

type => "error"

start_position => "beginning"

}

}

output {

if [type] == "access" {

elasticsearch {

hosts => ["192.168.79.26:9200","192.168.79.27:9200"]

index => "apache_access-%{+YYYY.MM.dd}"

}

}

if [type] == "error" {

elasticsearch {

hosts => ["192.168.79.26:9200","192.168.79.27:9200"]

index => "apache_error-%{+YYYY.MM.dd}"

}

}

}


cd /etc/logstash/conf.d/

/usr/share/logstash/bin/logstash -f apache_log.conf

5.7.6 浏览器访问

浏览器访问 http://192.168.200.12:9100 查看索引是否创建

只能看到apache-error 是因为access需要访问httpd页面才能生成,打开网页去访问Apache服务器:192.168.200.14

浏览器访问 http://192.168.200.12:5601 登录 Kibana,单击"Create Index Pattern"按钮添加索引, 在索引名中输入之前配置的 Output 前缀 apache_access-*,并单击"Create"按钮。在用相同的方法添加 apache_error-*索引。

选择"Discover"选项卡,在中间下拉列表中选择刚添加的 apache_access-* 、apache_error-* 索引, 可以查看相应的图表及日志信息。​​​​​​​

6.ELFK(Filebeat + ELK)基本介绍

6.1 Filebeat的作用

由于 logstash 会大量占用系统的内存资源,一般我们会使用 filebeat 替换 logstash 收集日志的功能,组成 ELFK 架构

或用 fluentd 替代 logstash 组成 EFK(elasticsearch/fluentd/kibana),由于 fluentd 是由 Go 语言开发的,一般在 K8s 环境中使用较多

6.2 ELFK的工作流程

filebeat 将日志收集后交由 logstash 处理

logstash 进行过滤、格式化等操作,满足过滤条件的数据将发送给 ES

ES 对数据进行分片存储,并提供索引功能

Kibana 对数据进行图形化的 web 展示,并提供索引接口

七、部署Filebeat+ELK(ELFK)

7.1 环境准备

在 ELK 的服务配置的基础上,增加一台 Filebeat 服务器,其余不变

​​​​​​​​​​​​​​

|------------|--------------------------------|------------------------|------|
| 服务器类型 | 系统和IP地址 | 需要安装的组件 | 硬件方面 |
| Node1节点 | CentOS7.4(64 位) 192.168.100.12 | Elasticsearch 、 Kibana | 2核3G |
| Node2节点 | CentOS7.4(64 位) 192.168.100.13 | Elasticsearch | 2核3G |
| Apache节点 | CentOS7.4(64 位) 192.168.100.14 | Logstash 、Apache | 2核3G |
| Filebeat节点 | CentOS7.4(64 位) 192.168.100.15 | Filebeat | 2核3G |

7.2 安装 Filebeat

rpm包安装

#上传软件包 filebeat-6.6.1-x86_64.rpm到/opt目录

cd /opt

rz -E

rpm -ivh filebeat-6.6.1-x86_64.rpm

​​​​​

tar.gz安装包

#上传软件包 filebeat-6.2.4-linux-x86_64.tar.gz 到/opt目录

cd /opt

rz -E

tar zxvf filebeat-6.6.0-linux-x86_64.tar.gz

mv filebeat-6.6.0-linux-x86_64 /usr/local/filebeat

7.3 设置 Kibana 的主配置文件

cd /etc/filebeat/

[root@filebeat filebeat]# cp filebeat.yml filebeat.yml.bak

[root@filebeat filebeat]# vim filebeat.yml

filebeat.prospectors:

##21行,指定log类型,从日志文件中读取消息

  • type: log

##24行,开启日志收集功能,默认为false

enabled: true

##28行,指定监控的日志文件

  • /var/log/*.log

##29行,添加收集/var/log/messages

  • /var/log/messages

##45行,添加以下内容,注意格式

fields:

service_name: filebeat

log_type: log

service_id: 192.168.170.115

#-------------------------- Elasticsearch output ------------------------------

该区域内容全部注释

#----------------------------- Logstash output --------------------------------

##157行,取消注释

output.logstash:

##159行,取消注释,指定logstash的IP和端口号

hosts: ["192.168.170.111:5044"]

[root@filebeat filebeat]# ./filebeat -e -c filebeat.yml

#启动filebeat,-e记录到stderr并禁用syslog /文件输出,-c指定配置文件

7.4 在 Logstash 组件所在节点新建一个 Logstash 配置文件

Logstash 组件所在节点:Apache节点(192.168.200.14)

cd /etc/logstash/conf.d

vim logstash.conf


input {

beats {

port => "5044"

}

}

output {

elasticsearch {

hosts => ["192.168.79.26:9200"] #node1节点

index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"

}

stdout {

codec => rubydebug

}

}


#启动 logstash

logstash -f logstash.conf

7.5 浏览器访问,登录 Kibana 测试

浏览器访问 http://192.168.79.26:5601 登录 Kibana

单击"Create Index Pattern"按钮添加索引"filebeat-*"

单击 "create" 按钮创建,单击 "Discover" 按钮可查看图表信息及日志信息。

八、问题补充

1️⃣.ELK三大组件及其工作流程

组件:ElasticSearch(简称:ES)、Logstash和Kiabana

流程:

Logstash负责数据的收集,对数据进行过滤、分析等操作,然后存储到指定的位置,发送给ES;

ES是分布式存储检索引擎,用来存储各类日志,可以让用户可以通过浏览器与 ES通信;

Kiabana为 Logstash 和 ES 提供图形化的日志分析 Web 界面展示,可以汇总、分析和搜索重要数据日志。

2️⃣生产中一般用什么来代替logstash?为什么?

一般使用Filebeat代替logstash

因为logstash是由Java开发的,需要运行在JVM上,耗资源较大,运行占用CPU和内存高。另外没有消息队列缓存,存在数据丢失隐患;而filebeat是一款轻量级的开源日志文件数据搜集器,能快速收集数据,并发送给 logstash 进行解析,性能上相比运行于 JVM 上的 logstash 优势明显。

3️⃣ELK集群配置的步骤是什么

1)一般至少需要三台主机

2)设置各主机的主机名和IP的映射,修改ES主配置文件

3)通过修改discovery.zen.ping项,通过单播实现集群,指定要发现的节点。

相关推荐
幽弥千月3 天前
【ELK】ES单节点升级为集群并开启https【亲测可用】
elk·elasticsearch·https
IT猿手3 天前
基于PWLCM混沌映射的麋鹿群优化算法(Elk herd optimizer,EHO)的多无人机协同路径规划,MATLAB代码
算法·elk·机器学习·matlab·无人机·聚类·强化学习
流穿4 天前
ELK系列-(六)Redis也能作为消息队列?(下)
数据库·redis·ubuntu·elk·docker·容器
流穿4 天前
ELK系列-(五)指标收集-MetricBeat(下)
linux·运维·ubuntu·elk·docker·容器
流穿5 天前
ELK系列-(五)指标收集-MetricBeat(上)
ubuntu·elk·elasticsearch·docker
高hongyuan6 天前
Linux环境下 搭建ELk项目 -单机版练习
大数据·运维·服务器·elk·elasticsearch·搜索引擎
运维&陈同学7 天前
【Elasticsearch04】企业级日志分析系统ELK之Elasticsearch 插件
大数据·运维·后端·elk·elasticsearch·搜索引擎·全文检索·哈希算法
幽弥千月7 天前
【ELK】Filebeat采集Docker容器日志
elk·docker·容器
运维&陈同学8 天前
【Elasticsearch03】企业级日志分析系统ELK之Elasticsearch访问与优化
大数据·elk·elasticsearch·搜索引擎·云原生·全文检索·高可用
运维&陈同学10 天前
【Elasticsearch01】企业级日志分析系统ELK之Elasticsearch单机部署
大数据·linux·elk·elasticsearch·微服务·云原生·jenkins