ELK日志分析系统

一、ELK日志分析系统概述

1、ELK三大组件

1.1、Elasticsearch

1.1.1、Elasticsearch概念

1.1.2、核心功能

1.1.3、架构与组件

1.1.4、使用场景

1.1.5、Elasticsearch优点与缺点

1.2.4、其他可替代Logstash组件介绍

[2、ElasticSearch 集群部署](#2、ElasticSearch 集群部署)

2.1、安装软件包并加载系统服务

[2.2、修改 elasticsearch 主配置文件](#2.2、修改 elasticsearch 主配置文件)

2.3、创建数据存放路径并授权

[2.4、启动elasticsearch是否成功开启](#2.4、启动elasticsearch是否成功开启)

2.5、查看节点信息

[3、安装 Elasticsearch-head 插件](#3、安装 Elasticsearch-head 插件)

[3.1、编译安装 node](#3.1、编译安装 node)

[3.2、安装 phantomjs（前端的框架）](#3.2、安装 phantomjs（前端的框架）)

[3.3、安装 Elasticsearch-head 数据可视化工具](#3.3、安装 Elasticsearch-head 数据可视化工具)

[3.4、修改 Elasticsearch 主配置文件](#3.4、修改 Elasticsearch 主配置文件)

[3.5、启动 elasticsearch-head 服务](#3.5、启动 elasticsearch-head 服务)

[3.6、通过 Elasticsearch-head 查看 Elasticsearch 信息](#3.6、通过 Elasticsearch-head 查看 Elasticsearch 信息)

3.7、插入索引

[4、ELK Logstash 部署](#4、ELK Logstash 部署)

[4.1 安装Apahce服务（httpd）](#4.1 安装Apahce服务（httpd）)

4.2、安装logstash

4.3、测试Logstash

[4.4、定义 logstash 配置文件](#4.4、定义 logstash 配置文件)

[5、ELK Kiabana 部署](#5、ELK Kiabana 部署)

[1.1 安装 Kiabana](#1.1 安装 Kiabana)

[1.2、设置 Kibana 的主配置文件并启动服务](#1.2、设置 Kibana 的主配置文件并启动服务)

[1.3、验证 Kibana](#1.3、验证 Kibana)

[1.4、将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示](#1.4、将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示)

[三、搭建ELFK（Filebeat+ELK ）](#三、搭建ELFK（Filebeat+ELK ）)

1、部署环境

[2、ELFK Filebeat 部署](#2、ELFK Filebeat 部署)

[2.1、安装 Filebeat](#2.1、安装 Filebeat)

[2.2、设置 filebeat 的主配置文件](#2.2、设置 filebeat 的主配置文件)

[2.3、在 Logstash 组件所在节点上新建一个 Logstash 配置文件](#2.3、在 Logstash 组件所在节点上新建一个 Logstash 配置文件)

2.4、登录到Kibana进行测试

一、ELK日志分析系统概述

1、ELK三大组件

1.1、Elasticsearch

cpp 复制代码

Elastic中文官网：https://www.elastic.co/cn/

1.1.1、Elasticsearch概念

Elasticsearch 是 ELK 系统的核心组件之一
它是一个基于 Lucene（一个全文检索引擎的架构）开发的分布式搜索和分析引擎，能够快速地存储、搜索和分析大量数据
Elasticsearch是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大容量的日志数据，也可用于搜索许多不同类型的文档
Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch 通信

1.1.2、核心功能

全文搜索：Elasticsearch 最广为人知的功能，能够对文本数据进行快速的全文索引和搜索，非常适合实现复杂搜索功能。
实时数据分析：支持实时的数据更新和查询，适合用于日志分析、监控数据的实时处理等场景。
分布式架构：基于分布式设计，支持跨集群的数据存储和检索，具有良好的扩展性和性能。
RESTful API：通过简单的 HTTP 接口（RESTful API），支持多种语言和平台的集成，便于开发和使用。

1.1.3、架构与组件

集群（Cluster）：由一个或多个 Elasticsearch 节点（实例）组成，集群中的所有节点协同工作，共享数据和负载。
节点（Node）：运行 Elasticsearch 的单个实例，节点可承担不同角色（如主节点、数据节点等），负责存储数据和处理查询。
索引（Index）：类似于传统数据库中的表，包含一个数据集。每个索引都有唯一的名称，用于引用其中的文档。
文档（Document）：Elasticsearch 中最小的数据单元，每个文档是一个 JSON 格式的对象，存储在索引中。
分片（Shard）：每个索引可以分为多个分片，每个分片是一个 Lucene 索引。分片提供数据的分布和并行处理能力，确保系统的高可用性和可扩展性。
副本（Replica）：每个分片可以有一个或多个副本，用于数据冗余和提升系统的容错能力。

1.1.4、使用场景

日志和事件数据分析：适合处理大规模的日志和事件流数据，提供实时查询和分析能力。通常与 Logstash 和 Kibana 一起组成 ELK Stack 使用。
全文搜索应用：广泛用于电子商务网站中的产品搜索、社交媒体平台的用户内容搜索等场景。
监控和报警系统：结合 Kibana 等工具，实现数据可视化和实时监控功能，常用于系统监控和报警。
商业智能（BI）：支持复杂的数据查询和分析，帮助企业从数据中获取洞察，用于决策支持。

1.1.5、Elasticsearch优点与缺点

优点：

高性能：得益于 Lucene 的底层支持，Elasticsearch 在处理全文搜索和分析操作时性能非常优越。
易扩展：其分布式架构设计使集群能够随着数据量的增长轻松扩展。
灵活性强：支持多种数据类型和复杂查询语法，适应不同的应用需求。
开放源代码：免费且有活跃的社区支持，用户可以自由定制和扩展。

缺点：

资源消耗：作为内存密集型应用，Elasticsearch 对硬件资源要求较高，尤其在处理大量数据时。
学习曲线：虽然易于集成，但理解其复杂的查询 DSL 和架构对新手来说有一定挑战。
管理复杂性：在大型分布式集群环境中，管理和优化 Elasticsearch 需要专业知识。

1.2、Logstash

cpp 复制代码

Logstash中文官网：https://www.elastic.co/cn/logstash

1.2.1、Logstash概念

作为数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置,一般会发送给 Elasticsearch
Logstash 由 Ruby 语言编写，运行在 Java 虚拟机（JVM）上，是一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能，常用于日志处理

1.2.2、Logstash主要特点

数据收集：

Logstash 能够从多种数据源（如日志文件、数据库、消息队列等）收集数据。
支持各种输入插件，帮助从不同的系统或服务中提取数据。

数据处理：

使用过滤器插件进行数据处理，包括数据清洗、格式转换和字段解析等操作。
支持丰富的数据处理功能，如正则表达式解析、日期转换、字段拆分和合并等。

数据输出：

处理后的数据可以发送到多种输出目标，如 Elasticsearch、关系型数据库、消息队列、文件系统等。
输出插件的灵活性使 Logstash 能够与各种系统集成。

可扩展性：

通过插件架构轻松扩展和自定义，包括输入插件、过滤器插件、输出插件和编码插件等。

实时处理：

支持实时数据处理，适用于需要快速数据流的场景，如实时日志监控和数据流分析等。

1.2.3、Logstash使用场景

日志收集和分析：

从各种日志文件中提取数据（如系统日志、应用日志），然后将数据发送到 Elasticsearch 进行集中化分析和监控。

数据转换：

在数据进入目标存储之前，对其进行清理、格式化和标准化处理。

数据流整合：

从多种来源获取数据，将其汇聚到一个统一的平台进行进一步的分析和决策支持。

1.2.4、其他可替代Logstash组件介绍

①、Filebeat

Filebeat：轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并发送给 logstash 进或是直接发给Elasticsearch 存储，性能上相比运行于 JVM 上的 logstash 优势明显，是对它的替代。常应用于 EFLK 架构当中。

filebeat 结合 logstash 带来好处：

通过 Logstash 具有基于磁盘的自适应缓冲系统，该系统将吸收传入的吞吐量，从而减轻 Elasticsearch 持续写入数据的压力
从其他数据源（例如数据库，S3对象存储或消息传递队列）中提取
将数据发送到多个目的地，例如S3，HDFS（Hadoop分布式文件系统）或写入文件
使用条件数据流逻辑组成更复杂的处理管道

②、缓存**/**消息队列（redis、kafka、RabbitMQ等）

可以对高并发日志数据进行流量削峰和缓冲，这样的缓冲可以一定程度的保护数据不丢失，还可以对整个架构进行应用解耦

③、Fluentd

Fluentd：是一个流行的开源数据收集器。相比较 logstash，Fluentd 更易用、资源消耗更少、性能更高，在数据处理上更高效可靠，受到企业欢迎，成为 logstash 的一种替代方案，常应用于 EFK 架构当中。在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案
在 Kubernetes 集群中一般是通过 DaemonSet 来运行 Fluentd，以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod
它通过获取容器日志文件、过滤和转换日志数据，然后将数据传递到 Elasticsearch 集群，在该集群中对其进行索引和存储

1.3、Kiabana

1.3.1、Kiabana概念

Kibana 通常与 Elasticsearch 一起部署，Kibana 是 Elasticsearch 的一个功能强大的数据可视化
Dashboard，Kibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据，可以用来汇总、分析和搜索重要数据。它为用户提供了交互式仪表盘、图表和报告功能，用于更好地理解数据。

1.3.2、Kiabana主要功能

数据可视化（Visualizations）：提供折线图、饼图、柱状图、地图等多种可视化工具。支持自定义图表样式和动态可视化，根据过滤器和时间范围即时更新显示内容。
仪表板（Dashboards）：展示多个可视化图表的集合，便于同时监控多个数据来源或系统状态。支持交互式过滤器，允许用户在不同时间范围和条件下实时查看数据。
日志管理和搜索（Log Management & Discovery）：通过 "Discovery" 功能提供实时搜索与过滤 Elasticsearch 中的原始数据。支持快速查询、检索日志和数据记录，使用过滤器和查询语言（KQL 或 Lucene）精准获取信息。
时间序列分析（Time Series Analytics）：使用 "TSVB"（Time Series Visual Builder）进行复杂的时间序列分析。支持创建基于时间的数据图表，适用于监控系统性能、用户活动趋势等。
报警与监控（Alerts & Monitoring）：与 Elasticsearch 和 Logstash 集成，提供数据监控和报警通知功能。支持设置阈值，当数据达到特定条件时自动触发报警并发送通知。
安全和访问控制（Security & Access Control）：提供基于角色的访问控制，管理员可以根据用户角色设置权限。支持与外部认证系统（如 LDAP、OAuth）集成。
机器学习（Machine Learning）：集成 Elastic Stack 的机器学习功能，进行异常检测、趋势预测和自动模式识别。支持无监督机器学习算法自动检测数据中的异常行为。
地图和地理可视化（Maps & Geospatial Visualization）：提供地理数据可视化功能，通过 Elastic Maps 显示和绘制地图，叠加数据层。支持动态过滤和聚合地理数据，适用于位置数据分析和地理信息系统。
Canvas 和报告（Canvas & Reporting）：
- Canvas：创建高度自定义的、视觉吸引力强的报告和展示。
- Reporting：自动生成报告，通过预定义模板或自定义方式导出 PDF、CSV 报告。
监控（Monitoring）：提供 Elastic Stack 组件的监控功能，帮助用户监控 Elasticsearch 集群、Logstash 管道等系统的健康状况、性能和资源使用情况。

1.3.3、Kiabana的使用场景

日志管理与分析：通过 Kibana 集中管理和分析大量日志数据，帮助开发者和运维工程师及时发现系统故障和监控应用程序状态。
实时监控：利用 Kibana 的仪表板和报警功能，对系统性能和服务进行实时监控，并在出现异常时及时采取行动。
业务数据分析：对商业数据（如销售数据、用户行为数据）进行深度分析，支持企业决策。
安全分析与威胁检测：集成 Elastic Security，用于检测网络安全威胁、分析安全日志，并进行入侵检测。
机器学习与数据预测：通过 Kibana 的机器学习功能实现数据预测、趋势识别和异常检测，适用于金融预测和系统监控等场景。

1.3.4、Kiabana的工作原理

数据存储 ：

Kibana 本身不存储数据，它通过 Elasticsearch 查询和检索数据。数据可以通过 Logstash、Beats、API 等工具存储到 Elasticsearch 中，Elasticsearch 是 Kibana 的主要数据源。
查询与分析 ：

用户在 Kibana 中执行查询时，Kibana 将查询请求发送给 Elasticsearch。查询可以使用 Kibana Query Language (KQL) 或 Lucene 查询语法进行。
数据可视化与展示 ：

Kibana 从 Elasticsearch 获取查询结果后，通过多种可视化工具（如图表、地图、仪表盘等）展示数据，帮助用户直观地理解和分析数据

2、为什么要使用ELK

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误
往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析，但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理。

例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用 grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心

一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率

3、完整日志系统基本特征

收集：能够采集多种来源的日志数据
传输：能够稳定的把日志数据解析过滤并传输到存储系统
存储：存储日志数据
分析：支持 UI 分析
警告：能够提供错误报告，监控机制

4、ELK的工作原理

在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署 Logstash
Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中
Elasticsearch 对格式化后的数据进行索引和存储
Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示

总结：logstash作为日志搜集器，从数据源采集数据，并对数据进行过滤，格式化处理，然后交由Elasticsearch存储，kibana对日志进行可视化处理

二、搭建ELK日志分析系统

1、部署环境

服务器	配置（越高性能越好）	主机名	IP地址	主要软件
node1节点	2C/4G	node1	172.16.88.44	ElasticSearch、Kibana
node2节点	2C/4G	node2	172.16.88.55	ElasticSearch
logstash节点	/	logstash	172.16.88.66	Logstash、Apache

（1）关闭所有设备的防火墙和核心防护

cpp 复制代码

[root@localhost ~]#systemctl stop firewalld
[root@localhost ~]#setenforce 0

（2）修改三台设备的主机名

cpp 复制代码

[root@localhost ~]#hostnamectl set-hostname node1
[root@localhost ~]#bash
 
[root@localhost ~]#hostnamectl set-hostname node2
[root@localhost ~]#bash
 
[root@localhost ~]#hostnamectl set-hostname logstash
[root@localhost ~]#bash

（3）node节点1和node节点2都要配置本地的/etc/hosts文件

cpp 复制代码

echo "172.16.88.44 node1" >> /etc/hosts
echo "172.16.88.55 node2" >> /etc/hosts

2、ElasticSearch 集群部署

需要安装部署在es_node1节点和es_node2节点上

2.1、安装软件包并加载系统服务

cpp 复制代码

#安装elasticsearch-rpm 包
cd /opt    #上传elasticsearch-5.5.0.rpm到/opt目录下
rpm -ivh elasticsearch-5.5.0.rpm
 
#加载系统服务
systemctl daemon-reload    
systemctl enable elasticsearch.service

2.2、修改 elasticsearch 主配置文件

cpp 复制代码

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释，指定集群名字
cluster.name: my-elk-cluster
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node1
--33--取消注释，指定数据存放路径
path.data: /data/elk_data
--37--取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释，改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释，ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释，集群发现通过单播实现，指定要发现的节点 es_node1、es_node2
discovery.zen.ping.unicast.hosts: ["es_node1", "es_node2"]

cpp 复制代码

grep -v "^#" /etc/elasticsearch/elasticsearch.yml
#过滤到能生效的语句，检查修改的是否正确

2.3、创建数据存放路径并授权

cpp 复制代码

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

2.4、启动elasticsearch是否成功开启

cpp 复制代码

systemctl start elasticsearch.service
ss -antp | grep 9200

2.5、查看节点信息

浏览器访问：http://172.16.88.44:9200 、 http://172.16.88.55:9200 来查看节点 es_node1、es_node2 的信息

浏览器访问：http://172.16.88.44:9200/_cluster/health?pretty 、 http://172.16.88.55:9200/_cluster/health?pretty 来查看群集的健康情况，可以看到 status 值为 green（绿色），表示节点健康运行

绿色：健康，数据和副本，全都没有问题

红色：数据都不完整

黄色：数据完整，但副本有问题

3、安装 Elasticsearch-head 插件

Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装

安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs

node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境
phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到

3.1、编译安装 node

cpp 复制代码

yum install gcc gcc-c++ make -y   #安装依赖包
 
cd /opt       #上传软件包 node-v8.2.1.tar.gz 到/opt
tar zxvf node-v8.2.1.tar.gz
 
#到安装包目录进行编译安装
cd node-v8.2.1/
./configure
make && make install

3.2、安装 phantomjs（前端的框架）

cpp 复制代码

cd /opt  #上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到/opt
 
#无需安装，解压使用即可
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

3.3、安装 Elasticsearch-head 数据可视化工具

cpp 复制代码

cd /opt     #上传软件包 elasticsearch-head.tar.gz 到/opt
 
#安装elasticsearch-head
tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install

3.4、修改 Elasticsearch 主配置文件

cpp 复制代码

vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true                #开启跨域访问支持，默认为 false
http.cors.allow-origin: "*"            #指定跨域访问允许的域名地址为所有
 
systemctl restart elasticsearch   #重启elasticsearch服务

3.5、启动 elasticsearch-head 服务

cpp 复制代码

#必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败
cd /usr/local/src/elasticsearch-head/
npm run start &

3.6、通过 Elasticsearch-head 查看 Elasticsearch 信息

通过浏览器访问 http://172.16.88.44:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色，代表群集很健康

3.7、插入索引

cpp 复制代码

#通过命令插入一个测试索引，索引为 index-demo，类型为 test
curl -X PUT 'localhost:9200/index-demo1/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"lisi","mesg":"hello world"}'

浏览器再次访问 http://172.16.88.44:9100/ 查看索引信息，可以看见索引默认被分片5个，并且有一个副本

4、ELK Logstash 部署

需要安装部署在logstash节点服务器上（本身也是apache服务器）！

Logstash 一般部署在需要监控其日志的服务器。在本案例中，Logstash 部署在 Apache 服务器上，用于收集 Apache 服务器的日志信息并发送到 Elasticsearch

4.1 安装Apahce服务（httpd）

cpp 复制代码

#安装apache服务，等会会收集apache服务的日志文件
[root@logstash ~]#yum -y install httpd
[root@logstash ~]#systemctl start httpd

4.2、安装logstash

cpp 复制代码

[root@logstash ~]#cd /opt   #上传软件包 logstash-5.5.1.rpm 到/opt目录下
[root@logstash opt]#rpm -ivh logstash-5.5.1.rpm           
[root@logstash opt]#systemctl enable --now logstash.service
[root@logstash opt]#ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

4.3、测试Logstash

定义输入和输出流：

（1）输入采用标准输入，输出采用标准输出（类似管道）

cpp 复制代码

#输入采用标准输入，输出采用标准输出（类似管道）
[root@logstash opt]#logstash -e 'input { stdin{} } output { stdout{} }'
 
......
www.baidu.com										#键入内容（标准输入）
2024-04-11T05:50:42.684Z logstash www.baidu.com		#输出结果（标准输出）
www.google.com										#键入内容（标准输入）
2024-04-11T05:51:07.295Z logstash www.google.com	#输出结果（标准输出）
 
//执行 ctrl+c 退出

（2）使用 rubydebug 输出详细格式显示，codec 为一种编解码器

cpp 复制代码

#使用 rubydebug 输出详细格式显示，codec 为一种编解码器
[root@logstash opt]#logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
 
......
www.baidu.com										#键入内容（标准输入）
{
    "@timestamp" => 2024-04-11T05:54:11.432Z,       #输出结果（处理后的结果）
      "@version" => "1",
          "host" => "logstash",
       "message" => "www.baidu.com"
}
 
//执行 ctrl+c 退出

（3）使用 Logstash 将信息写入 Elasticsearch 中

cpp 复制代码

#使用 Logstash 将信息写入 Elasticsearch 中
[root@logstash opt]#logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["172.16.88.55:9200"] } }'
			  输入				输出	    对接
 
......
www.baidu.com										#键入内容（标准输入）
www.sina.com.cn										#键入内容（标准输入）
www.google.com										#键入内容（标准输入）
 
//执行 ctrl+c 退出

4.4、定义 logstash 配置文件

Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）

input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等
filter：表示数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式
output：表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。

cpp 复制代码

#格式：
input {...}
filter {...}
output {...}

cpp 复制代码

#在每个部分中，也可以指定多个访问方式。例如，若要指定两个日志来源文件，则格式如下：
input {
    file { path =>"/var/log/messages" type =>"syslog"}
    file { path =>"/var/log/httpd/access.log" type =>"apache"}
}

修改 Logstash 配置文件，让其收集系统日志/var/log/messages，并将其输出到 elasticsearch 中

cpp 复制代码

[root@logstash opt]#chmod +r /var/log/messages      #让其他用户Logstash可以读取日志
 
[root@logstash opt]#vim /etc/logstash/conf.d/system.conf
input {
    file{
        path =>"/var/log/messages"        #指定要收集的日志的位置
        type =>"system"                   #自定义日志类型标识
        start_position =>"beginning"      #表示从开始处收集
    }
}
output {
    elasticsearch {                       #输出到 elasticsearch
        hosts => ["172.16.88.44:9200"]    #指定 elasticsearch 服务器的地址和端口
        index =>"system-%{+YYYY.MM.dd}"   #指定输出到 elasticsearch 的索引格式
    }
}
[root@logstash opt]#systemctl restart logstash.service

浏览器访问 http://172.16.88.44:9100/ 查看索引信息

5、ELK Kiabana 部署

安装部署在es_node1节点上

1.1 安装 Kiabana

cpp 复制代码

[root@es_node1 ~]#cd /opt      #上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录
[root@es_node1 opt]#rpm -ivh kibana-5.5.1-x86_64.rpm

1.2、设置 Kibana 的主配置文件并启动服务

cpp 复制代码

[root@es_node1 opt]#vim /etc/kibana/kibana.yml
--2--取消注释，Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释，设置 Kiabana 的监听地址，0.0.0.0代表所有地址
server.host: "0.0.0.0"
--28--取消注释，设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://172.16.88.44:9200" 
--37--取消注释，设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"
 
[root@es_node1 opt]#systemctl enable --now kibana.service
[root@es_node1 opt]#netstat -natp | grep 5601      #查看5601端口进程

1.3、验证 Kibana

浏览器访问 http://172.16.88.44:5601

第一次登录需要添加一个 Elasticsearch 索引：

Index name or pattern

//输入：system-* #在索引名中输入之前配置的 Output 前缀"system"

单击 "create" 按钮创建，单击 "Discover" 按钮可查看图表信息及日志信息。

数据展示可以分类显示，在"Available Fields"中的"选项"，然后单击 "add"按钮，可以看到按照"选项"筛选后的结果

1.4、将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示

在logstash节点服务器上操作：

cpp 复制代码

[root@logstash ~]#vim /etc/logstash/conf.d/apache_log.conf
input {
    file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
    }
    file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
    }
}
output {
    if [type] == "access" {
        elasticsearch {
            hosts => ["172.16.88.44:9200"]
            index => "apache_access-%{+YYYY.MM.dd}"
        }
    }
        if [type] == "error" {
        elasticsearch {
            hosts => ["172.16.88.44:9200"]
            index => "apache_error-%{+YYYY.MM.dd}"
        }
    }
}

cpp 复制代码

[root@logstash ~]#cd /etc/logstash/conf.d/
[root@logstash conf.d]#logstash -f apache_log.conf

客户端测试：

浏览器先访问apache服务器，否则访问 http://172.16.88.44:9100无法有apache_access-2024.09.19索引

浏览器访问 http://172.16.12.12:9100 查看索引是否创建

浏览器访问 http://172.16.88.44:5601 登录 Kibana，单击"Create Index Pattern"按钮添加索引，在索引名中输入之前配置的 Output 前缀 apache_access-*，并单击"Create"按钮。在用相同的方法添加 apache_error-*索引

选择"Discover"选项卡，在中间下拉列表中选择刚添加的 apache_access-* 、apache_error-* 索引，可以查看相应的图表及日志信息

三、搭建ELFK（Filebeat+ELK ）

filebeat + Logstash + Elasticsearch + Kibana模式

这是一种更加完善和灵活的架构，适合处理复杂的日志数据
在这种模式下，filebeat(beats)负责收日志文件，并将其发送到Logstash进行处理
logstash可以对日志数据进行更多的过滤、转换和增强的操作并将其发送到Elasticsearch进行索引
kibana则可以用来查看和分析日志数据

1、部署环境

在上面ELK搭建成功的环境下，只需要部署安装filebeat

主机名	配置	IP 地址	主要软件
es_node1	2C/4G	172.16.88.44	ElasticSearch、Kibana
es_node2	2C/4G	172.16.88.55	ElasticSearch
logstash	/	172.16.88.66	Logstash、Apache
filebeat	/	172.16.88.33	Filebeat

（1）关闭 filebeat 服务器的防火墙和核心防护

cpp 复制代码

[root@localhost ~]#systemctl stop firewalld
[root@localhost ~]#setenforce 0

（2）修改 filebeat 的主机名

cpp 复制代码

[root@localhost ~]#hostnamectl set-hostname filebeat
[root@localhost ~]#bash

数据流向： filebeat ----> logstash ----> ElasticSearch ----> Kibana

2、ELFK Filebeat 部署

2.1、安装 Filebeat

cpp 复制代码

[root@filebeat ~]#cd /opt #上传软件包 filebeat-6.6.1-x86_64.rpm 到/opt目录
[root@filebeat opt]#rpm -ivh filebeat-6.6.1-x86_64.rpm

2.2、设置 filebeat 的主配置文件

cpp 复制代码

[root@filebeat opt]#vim /etc/filebeat/filebeat.yml
filebeat.prospectors:
- type: log          #指定 log 类型，从日志文件中读取消息
  enabled: true
  paths:
    - /var/log/messages       #指定监控的日志文件
    - /var/log/*.log
  fields:            #可以使用 fields 配置选项设置一些参数字段添加到 output 中
    service_name: filebeat
    log_type: log
    service_id: 172.16.88.33
 
--------------Elasticsearch output-------------------
(全部注释掉)
 
----------------Logstash output---------------------
output.logstash:
  hosts: ["172.16.88.66:5044"]      #指定 logstash 的 IP 和端口
 
#启动filebeat
[root@filebeat opt]#systemctl start filebeat.service 
[root@filebeat opt]#filebeat -e -c  /etc/filebeat/filebeat.yml
 
#-e: 这是一个参数，表示以交互式模式（interactive mode）启动 Filebeat。在交互式模式下，Filebeat 会将日志输出打印到控制台，方便用户查看实时日志信息
#-c filebeat.yml: 这也是一个参数，指定了 Filebeat 的配置文件。通过指定这个配置文件，Filebeat 将会加载其中定义的配置选项和设置

2.3、在 Logstash 组件所在节点上新建一个 Logstash 配置文件

cpp 复制代码

[root@logstash ~]#cd /etc/logstash/conf.d
[root@logstash conf.d]#vim logstash.conf
input {
    beats {
        port => "5044"
    }
}
output {
    elasticsearch {
        hosts => ["172.16.88.44:9200"]
        index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
    }
    stdout {
        codec => rubydebug
    }
}
 
[root@logstash conf.d]#logstash -f logstash.conf   #启动logstash

2.4、登录到Kibana进行测试

浏览器访问 http://172.16.88.44:9100 查看索引是否创建

浏览器访问 http://172.16.88.44:5601 登录 Kibana，单击"Create Index Pattern"按钮添加索引"filebeat-*"，单击 "create" 按钮创建，单击 "Discover" 按钮可查看图表信息及日志信息

ELK日志分析系统

一、ELK日志分析系统概述

1、ELK三大组件

1.1、Elasticsearch

1.1.1、Elasticsearch概念

1.1.2、核心功能

1.1.3、架构与组件

1.1.4、使用场景

1.1.5、Elasticsearch优点与缺点

1.2、Logstash

1.2.1、Logstash概念

1.2.2、Logstash主要特点

1.2.3、Logstash使用场景

1.2.4、其他可替代Logstash组件介绍

1.3、Kiabana

1.3.1、Kiabana概念

1.3.2、Kiabana主要功能

1.3.3、Kiabana的使用场景

1.3.4、Kiabana的工作原理

2、为什么要使用ELK

3、完整日志系统基本特征

4、ELK的工作原理

二、搭建ELK日志分析系统

1、部署环境

**2、**ElasticSearch 集群部署

2.1、安装软件包并加载系统服务

2.2、修改 elasticsearch 主配置文件

2.3、创建数据存放路径并授权

2.4、 启动elasticsearch是否成功开启

2.5、查看节点信息

3、安装 Elasticsearch-head 插件

3.1、编译安装 node

3.2、安装 phantomjs（前端的框架）

3.3、 安装 Elasticsearch-head 数据可视化工具

3.4、 修改 Elasticsearch 主配置文件

3.5、启动 elasticsearch-head 服务

3.6、通过 Elasticsearch-head 查看 Elasticsearch 信息

3.7、插入索引

4、ELK Logstash 部署

4.1 安装Apahce服务（httpd）

4.2、安装logstash

4.3、测试Logstash

4.4、定义 logstash 配置文件

5、ELK Kiabana 部署

1.1 安装 Kiabana

1.2、设置 Kibana 的主配置文件并启动服务

1.3、验证 Kibana

1.4、将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示

三、搭建ELFK（Filebeat+ELK ）

1、部署环境

2、ELFK Filebeat 部署

2.1、安装 Filebeat

2.2、 设置 filebeat 的主配置文件

2.3、在 Logstash 组件所在节点上新建一个 Logstash 配置文件

2.4、登录到Kibana进行测试

2、ElasticSearch 集群部署

2.4、启动elasticsearch是否成功开启

3.3、安装 Elasticsearch-head 数据可视化工具

3.4、修改 Elasticsearch 主配置文件

2.2、设置 filebeat 的主配置文件