ELK 学习笔记 - 技术栈

1. 什么是 ELK

1.1 日志系统背景和设计

在运维环境中，每个系统都有日志，当系统出现问题时，需要通过查看日志辅助解决问题。当系统规模较小时，可以直接登录服务器查看日志；但在大规模环境中，逐台登录已不现实

想要解决这一问题，可以通过某种方式，将每个系统上的日志进行实时收集，统一的存储到某个日志系统当中，再对这些日志建立索引，通过搜索即可以找到对应日志，并搭配 web 界面提高查询效率。这也是现代日志系统（如 ELK）的核心设计理念

1.2 ELK

ELK 是一个流行的开源日志管理和分析平台，它由三个核心组件组成：Elasticsearch、Logstash 和 Kibana，也是其名字 ELK 的由来

这三个组件协同工作，使用户能够收集、存储、搜索、分析和可视化大量日志数据。ELK 被广泛用于实时日志分析、应用性能监控、安全事件检测等领域。

Elasticsearch 是一个开源分布式搜索和分析引擎。它用于存储和索引大量的数据，使用户能够快速进行全文搜索、分析和聚合。Elasticsearch 的强大之处在于其分布式性能和可扩展性，它能够处理海量数据并提供高效的查询和分析
Logstash 是一个用于收集、处理和转发各种类型数据的数据流处理引擎。它可以从多种来源（如日志文件、消息队列、数据库等）收集数据，经过处理后将数据发送到目标存储（如 Elasticsearch）。Logstash 可以用于数据清洗、转换、标准化等，以便将数据准备好供后续的搜索和分析
Kibana 是一个用于数据可视化和分析的开源工具。它提供了一个用户友好的 Web 界面，使用户能够创建仪表板、图表和地图来展示 Elasticsearch 中的数据。通过 Kibana，用户可以通过交互式的界面深入分析数据、观察趋势、检测异常等

ELK 的工作流程通常是这样的：Logstash 收集和处理各种数据源的日志数据，然后将处理后的数据发送到 Elasticsearch 进行索引和存储。用户可以使用 Kibana 来查询数据、创建可视化仪表板，从而更好地理解数据的情况

2. Elasticsearch 组件部署与使用

Elasticsearch 是 ELK 系统的核心组件，负责日志数据的存储、索引和搜索。它以分布式方式运行，能够快速对大量结构化或非结构化数据建立索引，并支持高效的全文搜索和聚合分析

2.1 环境准备

从 CentOS 7 模板机中克隆出三台：

主机名	IP 地址
node1	10.1.8.10
node2	10.1.8.11
apache	10.1.8.12

配置主机 IP 地址和主机名

bash 复制代码

[root@node1 ~]# nmcli connection modify ens33 ipv4.address 10.1.8.10
[root@node2 ~]# nmcli connection modify ens33 ipv4.address 10.1.8.11
[root@apache ~]# nmcli connection modify ens33 ipv4.address 10.1.8.12

[root@node1 ~]# hostnamectl set-hostname node1
[root@node2 ~]# hostnamectl set-hostname node2
[root@apache ~]# hostnamectl set-hostname apache

2.2 部署环境并安装 elasticsearch

分别在 node1 和 node2 上执行：

bash 复制代码

# 1. 安装 Java 运行环境
[root@node1 ~]# yum install -y java
[root@node1 ~]# java -version
openjdk version "1.8.0_412"
OpenJDK Runtime Environment (build 1.8.0_412-b08)
OpenJDK 64-Bit Server VM (build 25.412-b08, mixed mode)

# 2. 配置 /etc/hosts
[root@node1 ~]# vim /etc/hosts
10.1.8.10  node1
10.1.8.11  node2
10.1.8.12  apache
[root@node1 ~]# scp /etc/hosts root@10.1.8.11:/etc/hosts
[root@node1 ~]# scp /etc/hosts root@10.1.8.12:/etc/hosts

# 3. 将 elasticsearch 软件包上传至虚拟机 /opt
[root@node1 ~]# cd /opt
[root@node1 opt]# # 将文件 elasticsearch-5.5.0.rpm 上传至此

# 4. 安装 elasticsearch
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm

# 5. 加载系统服务
[root@node1 opt]# systemctl daemon-reload    
[root@node1 opt]# systemctl enable elasticsearch.service

# 6. 编辑 elasticsearch 配置文件
[root@node1 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
[root@node1 opt]# vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster # 17 行，配置集群名
node.name: node1 # 23 行，配置节点名
path.data: /data/elk_data # 33 行，配置数据存放路径
path.logs: /var/log/elasticsearch # 37 行，配置日志存放路径
bootstrap.memory_lock: false # 43 行，配置不在启动的时候锁定内存，防止 es 内存被交换出去
network.host: 0.0.0.0 # 55 行，提供服务绑定的IP地址，0.0.0.0 代表所有地址
http.port: 9200 # 59 行，配置侦听端口为 9200
discovery.zen.ping.unicast.hosts: ["host1","host2"] # 68 行，集群发现通过单播实现

# 7. 验证配置结果
[root@node1 opt]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
node.name: node2
path.data: /data/elk_data
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1","node2"] # 集群主机名    

# 8. 创建数据存放路径并授权
[root@node1 opt]# mkdir -p /data/elk_data
[root@node1 opt]# chown elasticsearch:elasticsearch /data/elk_data/

# 9. 启动 elasticsearch 服务
[root@node1 opt]# systemctl start elasticsearch.service

# 10. 检查端口监听
[root@node1 opt]# yum install -y net-tools # 安装网络工具软件包
[root@node1 opt]# netstat -antp | grep 9200
tcp6  0  0  :::9200  :::*  LISTEN  64463/java

完成后可以在浏览器分别访问 10.1.8.10:9200 和 10.1.8.11:9200 查看结果，在此之前，请记得关闭防火墙和 SELinux

访问 10.1.8.10:9200/_cluster/health?pretty 可以检查集群健康状态，当 status 显示 green 时，说明集群状态良好

访问 10.1.8.10:9200/_cluster/state?pretty 可以查看集群详细信息