提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档
文章目录
- 前言
- 一、ELK概述
-
- [1.1 什么是ELK](#1.1 什么是ELK)
- [1.2 各组件角色](#1.2 各组件角色)
- [1.3 简单理解](#1.3 简单理解)
- 二、Elasticsearch介绍
- 三、Logstash介绍
-
- 四、Kibana介绍
- 五、为什么要使用ELK
- 六、完整日志系统基本特征
- [七、ELK 的工作原理](#七、ELK 的工作原理)
- 八、部署ELK日志分析系统
-
- [8.1 环境准备](#8.1 环境准备)
-
- [8.1.1 基础环境配置](#8.1.1 基础环境配置)
- [8.2 Elasticsearch集群部署](#8.2 Elasticsearch集群部署)
-
- [8.2.1 安装Elasticsearch](#8.2.1 安装Elasticsearch)
- [8.2.2 安装Elasticsearch-head插件](#8.2.2 安装Elasticsearch-head插件)
- [8.3 Logstash部署](#8.3 Logstash部署)
- 九、Filebeat+ELK部署
-
- [9.1 环境规划](#9.1 环境规划)
- 总结
前言
一、ELK概述
1.1 什么是ELK
ELK平台是一套完整的日志集中处理解决方案，将ElasticSearch、Logstash和Kibana三个开源工具配合使用，满足更强大的用户对日志的查询、排序、统计需求。
ELK是Elasticsearch、Logstash、Kibana的缩写，这三工具组合，用于数据收集、存储、搜索和可视化分析。
1.2 各组件角色
Elasticsearch ：核心搜索和分析引擎，负责存储数据并提供快速的全文搜索和分析功能
Logstash ：数据收集和处理管道，能够从各种来源（如日志文件、数据库）收集数据，并进行过滤和转换，然后将其发送到Elasticsearch
Kibana：数据可视化工具，提供图形界面来展示和分析存储在Elasticsearch中的数据
1.3 简单理解
ELK Stack是一个一体化的工具包，帮助用户从多个数据源中收集数据、存储并进行快速搜索、分析和可视化，适合于日志分析、监控、数据可视化等场景
二、Elasticsearch介绍
三、Logstash介绍
四、Kibana介绍
五、为什么要使用ELK
ELK 的核心价值是 "集中化收集 + 高效检索 + 可视化分析"，本质是为分布式架构提供一套标准化的日志管理解决方案，解决传统日志管理 "分散、低效、难分析" 的痛点，最终提升运维效率、缩短故障排查时间、保障系统稳定运行。
六、完整日志系统基本特征
收集：能够采集多种来源的日志数据
传输：能够稳定的把日志数据解析过滤并传输到存储系统
存储：存储日志数据
分析：支持UI分析
警告：能够提供错误报告，监控机制
七、ELK 的工作原理
（1）在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，
在日志服务器上部署 Logstash。
（2）Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中。
（3）Elasticsearch 对格式化后的数据进行索引和存储。
（4）Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示
八、部署ELK日志分析系统
8.1 环境准备
部署环境ELK
配置与名称 IP 服务
Node1节点（2C/4G） node1/192.168.10.14 Elasticsearch（集群） Kibana
Node2节点（2C/4G） node2/192.168.10.15 Elasticsearch（集群）
Apache节点 apache/192.168.10.13 Logstash Apache
8.1.1 基础环境配置
cpp
1、关闭防火墙与增强功能
systectl stop firewalld #关闭防火墙
setenforce 0 #关闭增强功能
cpp
2、更改主机名、配置域名解析、查看Java环境
Node1节点：hostnamectl set-hostname node1
Node2节点：hostnamectl set-hostname node2
Logstash节点：hostnamectl set-hostname logstash
cpp
3、主机名与IP解析
vim /etc/hosts
192.168.10.14 node1
192.168.10.15 node2
192.168.10.13 logstash
cpp
4、java安装
注：版本问题
java -version #如果没有安装，yum -y install java
openjdk version "1.8.0_412"
OpenJDK Runtime Environment (build 1.8.0_412-b08)
OpenJDK 64-Bit Server VM (build 25.412-b08, mixed mode)8.2 Elasticsearch集群部署
（在Node1、Node2节点上操作）
8.2.1 安装Elasticsearch
cpp
1、部署Elasticsearch软件
（1）安装elasticsearch---rpm包
#上传elasticsearch-6.6.1.rpm到/opt目录下
cd /opt
rpm -ivh elasticsearch-6.6.1.rpm
cpp
（2）加载系统服务
systemctl daemon-reload
systemctl enable elasticsearch.service
cpp
（3）修改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释，指定集群名字（非集群不需要取消注释）
cluster.name: my-elk-cluster
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node1
--33--取消注释，指定数据存放路径
path.data: /data/elk_data
--37--取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch
--43--取消注释，改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释，ES服务的默认监听端口为9200
http.port: 9200
--68--取消注释，集群发现通过单播实现，指定要发现的节点node1、node2（单节点这里不需要）
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
================================================================
# 注意修改node.name
sed -i \
-e 's|#cluster.name.*|cluster.name: my-elk-cluster|' \
-e 's|#node.name.*|node.name: node1|' \
-e 's|path.data.*|path.data: /data/elk_data|' \
-e 's|path.logs.*|path.logs: /var/log/elasticsearch|' \
-e 's|#bootstrap.memory_lock.*|bootstrap.memory_lock: false|' \
-e 's|#network.host.*|network.host: 0.0.0.0|' \
-e 's|#http.port.*|http.port: 9200|' \
-e 's|#discovery.zen.ping.unicast.hosts.*|discovery.zen.ping.unicast.hosts: \["node1", "node2"\]|' \
/etc/elasticsearch/elasticsearch.yml
================================================================
grep -v "^#" /etc/elasticsearch/elasticsearch.yml
cpp
（4）创建数据存放路径并授权
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
cpp
（5）启动elasticsearch是否成功开启
systemctl start elasticsearch.service
netstat -antp | grep 9200
cpp
（6）查看节点信息
浏览器访问http://192.168.10.14:9200、http://192.168.10.15:9200查看节点Node1、Node2的信息。
浏览器访问http://192.168.10.14:9200/_cluster/health?pretty、http://192.168.10.15:9200/_cluster/health?pretty查看群集的健康情况，可以看到status值为green（绿色），表示节点健康运行。
绿色：健康 数据和副本全都没有问题
红色：数据都不完整
黄色：数据完整，但副本有问题
浏览器访问http://192.168.10.14:9200/_cluster/state?pretty检查群集状态信息。8.2.2 安装Elasticsearch-head插件
使用上述方式查看群集的状态对用户并不友好，可以通过安装 Elasticsearch-head 插件，可以更方便地管理群集。
Elasticsearch在5.0版本后，Elasticsearch-head插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。
安装Elasticsearch-head需要提前安装好依赖软件node和phantomjs：
- node：是一个基于Chrome V8引擎的JavaScript运行环境。
- phantomjs：是一个基于webkit的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于webkit浏览器做的事情，它都可以做到。
cpp
（1）编译安装node
yum install gcc gcc-c++ make -y
#上传软件包node-v8.2.1.tar.gz到/opt V10~V16
cd /opt
tar zxvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure
make -j2 && make install
cpp
（2）安装phantomjs（前端的框架）
#上传软件包phantomjs-2.1.1-linux-x86_64.tar.bz2到/opt
cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin
cpp
（3）安装Elasticsearch-head数据可视化工具
#上传软件包elasticsearch-head.tar.gz到/opt
cd /opt
tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install
cpp
（4）修改Elasticsearch主配置文件
vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true #开启跨域访问支持，默认为false
http.cors.allow-origin: "*" #指定跨域访问允许的域名地址为所有
systemctl restart elasticsearch
dart
（5）启动elasticsearch-head服务
#必须在解压后的elasticsearch-head目录下启动服务，进程会读取该目录下的gruntfile.js文件，否则可能启动失败。
cd /usr/local/src/elasticsearch-head/
npm run start &
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
#elasticsearch-head监听的端口是9100
netstat -natp |grep 9100
dart
（6）通过Elasticsearch-head查看Elasticsearch信息
通过浏览器访问http://192.168.10.14:9100/地址并连接群集。如果看到群集健康值为green绿色，代表群集很健康
dart
（7）插入索引
#通过命令插入一个测试索引，索引为index-demo，类型为test。
curl -X PUT 'localhost:9200/index-demo1/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
# 输出结果如下：
{
"_index" : "index-demo1",
"_type" : "test",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 0,
"_primary_term" : 1
}
浏览器访问http://192.168.10.14:9100/查看索引信息，可以看见索引默认被分片5个，并且有一个副本。
点击"数据浏览"，会发现在node1上创建的索引为index-demo，类型为test的相关信息。8.3 Logstash部署
（在Logstash节点上操作）
Logstash一般部署在需要监控其日志的服务器。在本案例中，Logstash部署在Apache服务器上，用于收集Apache服务器的日志信息并发送到Elasticsearch。
dart
1．更改主机名
# hostnamectl set-hostname apache
2．安装Apahce服务（httpd）
yum -y install httpd
systemctl start httpd
dart
3．安装Java环境
yum -y install java
java -version
dart
4．安装logstash
#上传软件包logstash-6.6.1.rpm到/opt目录下
cd /opt
rpm -ivh logstash-6.6.1.rpm
systemctl start logstash.service
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
dart
5．测试Logstash
Logstash命令常用选项：
-f：通过这个选项可以指定Logstash的配置文件，根据配置文件配置Logstash的输入和输出流。
-e：从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当作Logstash的配置（如果是空，则默认使用stdin作为输入，stdout作为输出）。
-t：测试配置文件是否正确，然后退出。
定义输入和输出流：
#输入采用标准输入，输出采用标准输出（类似管道）
logstash -e 'input { stdin{} } output { stdout{} }'
......
www.baidu.com #键入内容（标准输入）
2025-09-22T03:58:47.799Z node1 www.baidu.com #输出结果（标准输出）
www.sina.com.cn #键入内容（标准输入）
2025-09-22T03:59:02.908Z node1 www.sina.com.cn #输出结果（标准输出）
# 执行ctrl+c退出
dart
#使用rubydebug输出详细格式显示，codec为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
......
www.baidu.com #键入内容（标准输入）
#输出结果（处理后的结果）
{
"message" => "www.baidu.com",
"@version" => "1",
"@timestamp" => 2025-09-22T12:01:34.980Z,
"host" => "logstash"
}
dart
#使用Logstash将信息写入Elasticsearch中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.10.14:9200"] } }'
输入 输出 对接
......
www.baidu.com #键入内容（标准输入）
www.sina.com.cn #键入内容（标准输入）
www.google.com #键入内容（标准输入）
//结果不在标准输出显示，而是发送至Elasticsearch中，可浏览器访问http://192.168.10.14:9100/查看索引信息和数据浏览。
dart
6．定义logstash配置文件
Logstash配置文件基本由三部分组成：input、output以及filter（可选，根据需要选择使用）。
- input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等
- filter：表示数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式
- output：表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。
#格式如下：
input {...}
filter {...}
output {...}
#在每个部分中，也可以指定多个访问方式。例如，若要指定两个日志来源文件，则格式如下：
input {
file { path =>"/var/log/messages" type =>"syslog"}
file { path =>"/var/log/httpd/access.log" type =>"apache"}
}
#修改Logstash配置文件，让其收集系统日志/var/log/messages，并将其输出到elasticsearch中。
chmod +r /var/log/messages # 让Logstash可以读取日志（很重要）
vim /etc/logstash/conf.d/system.conf
input {
file{
path =>"/var/log/messages" #指定要收集的日志的位置
type =>"system" #自定义日志类型标识
start_position =>"beginning" #表示从开始处收集
}
}
output {
elasticsearch { #输出到elasticsearch
hosts => ["192.168.10.14:9200"] #指定elasticsearch服务器的地址和端口
index =>"system-%{+YYYY.MM.dd}" #指定输出到elasticsearch的索引格式
}
}
===============================================================
input {
file{
path =>"/var/log/messages"
type =>"system"
start_position =>"beginning"
}
}
output {
elasticsearch {
hosts => ["192.168.10.14:9200"]
index =>"system-%{+YYYY.MM.dd}"
}
}
===============================================================
systemctl restart logstash
浏览器访问http://192.168.10.14:9100/查看索引信息8.4 Kibana部署
（在Node1节点上操作）
dart
官方网站 ：https://www.elastic.co/cn/downloads/kibana/
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.6.1-linux-x86_64.tar.gz
1．安装Kiabana
#上传软件包kibana-6.6.1-x86_64.rpm到/opt目录
cd /opt
rpm -ivh kibana-6.6.1-x86_64.rpm
dart
2．设置Kibana的主配置文件
vim /etc/kibana/kibana.yml
--2--取消注释，Kiabana服务的默认监听端口为5601
server.port: 5601
--7--取消注释，设置Kiabana的监听地址，0.0.0.0代表所有地址
server.host: "0.0.0.0"
--28--取消注释，设置和Elasticsearch建立连接的地址和端口
elasticsearch.hosts: ["http://192.168.10.14:9200"]
--37--取消注释，设置在elasticsearch中添加.kibana索引
kibana.index: ".kibana"
dart
3．启动Kibana服务
systemctl start kibana.service
systemctl enable kibana.service
netstat -natp | grep 5601
dart
4．验证Kibana
浏览器访问http://192.168.10.14:5601
第一次登录需要添加一个Elasticsearch索引：
Index Patterns---》create index Patterns
//输入：system-* #在索引名中输入之前配置的Output前缀"system"
然后--》Next step（下一步）--》Time Filter field name--》@timestarmp
单击"create index Patterns"按钮创建，单击"Discover"按钮可查看图表信息及日志信息。
数据展示可以分类显示，在"Available Fields"中的"host"，然后单击"add"按钮，可以看到按照"host"筛选后的结果
后面再次创建的步骤---》Management--》index Patterns--》单击"create index Patterns"按钮创建
dart
5．将Apache服务器的日志（访问的、错误的）添加到Elasticsearch并通过Kibana显示
vim /etc/logstash/conf.d/apache_log.conf
input {
file{
path => "/etc/httpd/logs/access_log"
type => "access"
start_position => "beginning"
}
file{
path => "/etc/httpd/logs/error_log"
type => "error"
start_position => "beginning"
}
}
output {
if [type] == "access" {
elasticsearch {
hosts => ["192.168.10.14:9200"]
index => "apache_access-%{+YYYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch {
hosts => ["192.168.10.14:9200"]
index => "apache_error-%{+YYYY.MM.dd}"
}
}
}
cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf
浏览器访问http://192.168.10.14:9100查看索引是否创建
浏览器访问http://192.168.10.14:5601登录Kibana，单击"Create Index Pattern"按钮添加索引，在索引名中输入之前配置的 Output 前缀apache_access-*，并单击"Create"按钮。在用相同的方法添加apache_error-*索引。
选择"Discover"选项卡，在中间下拉列表中选择刚添加的apache_access-*、apache_error-*索引，可以查看相应的图表及日志信息。
九、Filebeat+ELK部署
9.1 环境规划
配置与名称 IP 服务
Node1节点（2C/4G） node1/192.168.10.14 Elasticsearch（集群） Kibana
Node2节点（2C/4G） node2/192.168.10.15 Elasticsearch（集群）
Apache节点 apache/192.168.10.13 Logstash Apache
Filebeat节点 filebeat/192.168.10.11 Filebeat
部署安装ELK+filebeat 7.8.1版本
Filebeat 国内镜像源加速下载：
https://mirrors.huaweicloud.com/filebeat/总结
提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。