ELK日志分析系统

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的 syslog，将所有服务器上的日志收集汇总。
集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用 grep、awk 和 wc 等 Linux 命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
开源实时日志分析 ELK 平台能够完美的解决我们上述的问题，ELK 由 ElasticSearch、Logstash 和 Kibana 三个开源工具组成。

Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful 风格接口，多数据源，自动搜索负载等。

Logstash 是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。

Kibana 也是一个开源和免费的工具，它 Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

进行日志处理分析，一般需要经过以下几步：

将日志进行集中处理

将日志格式化并输出到elasticsearch

对格式化后的数据进行索引和存储

前端数据的展示

2：Elasticsearch

2.1：elasticsearch概述

Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful web 接口。Elasticsearch 是用 Java 开发的，并作为 Apache 许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

2.2：elasticsearch核心概念

（1）接近实时（NRT）
Elasticsearch 是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是 1 秒）。
（2）集群（cluster）
一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。一个集群由一个唯一的名字标识，这个名字默认就是 "elasticsearch"。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。
（3）节点（node）
一个节点是你集群中的一个服务器，作为集群的一部分，它存储你的数据，参与集群的索引和搜索功能。和集群类似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于 Elasticsearch 集群中的哪些节点。
（4）索引（index）
一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。在一个集群中，可以定义任意多的索引。
（5）类型（type）
在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类 / 分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以为评论数据定义另一个类型。
（6）文档（document）
一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以 JSON（Javascript Object Notation）格式来表示，而 JSON 是一个到处存在的互联网数据交互格式。
在一个 index/type 里面，你可以存储任意多的文档。注意，尽管一个文档，物理上存在于一个索引之中，文档必须被索引 / 赋予一个索引的 type。
（7）分片和复制（shards & replicas）
一个索引可以存储超出单个节点硬件限制的大量数据。比如，一个具有 10 亿文档的索引占据 1TB 的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。为了解决这个问题，Elasticsearch 提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的 "索引"，这个 "索引" 可以被放置到集群中的任何节点上。分片很重要，主要有两方面的原因：

允许你水平分割 / 扩展你的内容容量。

允许你在分片（潜在地，位于多个节点上）之上进行分布式的、并行的操作，进而提高性能 / 吞吐量。

3：Logstash

3.1：Logstash介绍

Logstash 由 JRuby 语言编写，运行在 Java 虚拟机（JVM）上，是一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能，常用于日志处理。
Logstash 的设计理念：Logstash 只做三件事，数据输入、数据加工、数据输出

3.2：Logstash工作的三个阶段

（1）input 数据输入端，可以接收来自任何地方的源数据。

file：从文件中读取

syslog：监听在 514 端口的系统日志信息，并解析成 RFC3164 格式。

redis：从 redis - server list 中获取

beat：接收来自 Filebeat 的事件

（2）Filter 数据中转层，主要进行格式处理，数据类型转换、数据过滤、字段添加，修改等，常用的过滤器如下。

grok：通过正则解析和结构化任何文本。

mutate：在事件字段执行一般的转换。可以重命名、删除、替换和修改事件字段。

clone：复制事件，可能添加或者删除字段。

geoip：添加有关 IP 地址地理位置信息。

（3）output 是 logstash 工作的最后一个阶段，负责将数据输出到指定位置，兼容大多数应用，常用的有：

elasticsearch：发送事件数据到 Elasticsearch，便于查询，分析，绘图。

file：将事件数据写入到磁盘文件上。

mongodb：将事件数据发送至高性能 NoSQL mongodb，便于永久存储，查询，分析，大数据分片。

redis：将数据发送至 redis - server，常用于中间层暂时缓存。

graphite：发送事件数据到 graphite。

statsd：发送事件数据到 statsd。

4：Kibana

4.1：Kibana介绍

Kibana 是一个设计使用和 Elasticsearch 配置工作的开源分析和可视化平台。可以用它进行搜索、查看、集成 Elasticsearch 中的数据索引。可以利用各种图表、报表、地图组件轻松的对数据仅进行可视化分析

4.2：Kibana主要功能

Elasticsearch 无缝集成

整合数据

复杂数据分析

让更多的团队成员收益

接口灵活

配置简单

可视化多数据源

简单数据导出

二：环境设置

主机清单

主机名	ip 地址	操作系统	软件包
euler01	192.168.10.201	Openeuler24	httpd、filebeat
euler02	192.168.10.202	Openeuler24	logstash
elk1	192.168.10.203	Openeuler24	Elasticsearch、kibana
elk2	192.168.10.204	Openeuler24	Elasticsearch

本章所需软件包
elasticsearch-7.10.0-linux-x86_64.tar.gz
filebeat-7.10.0-linux-x86_64.tar.gz
kibana-7.10.0-linux-x86_64.tar.gz
logstash-7.10.0-linux-x86_64.tar.gz

三：部署ES群集

1：基本配置

在203，204上进行基本配置

cpp 复制代码

修改hosts文件：
vim /etc/hosts
192.168.10.203 elk1
192.168.10.204 elk2
#关闭防火墙和selinux
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
vim /etc/selinux/config
修改：SELINUX=disabled
#创建用户
useradd es
passwd es
#将用户进行提权
gpasswd -a es whell
visudo

切换用户，在es用户中进行

cpp 复制代码

#部署环境安装
sudo dnf -y install java-11
#为用户设置资源访问限制
sudo vim /etc/security/limits.conf
	#在末尾添加
	es soft nofile 65535		//soft软限制，nofile文件数量
	es hard nofile 65535	//hard硬限制
	es soft nproc 65535	    //nproc进程数量
	es hard nproc 65535
	es soft memlock unlimited		//memlock内存锁定
	es hard memlock unlimited		//不限制
	（es改为*）
#设置内核参数
vim /etc/sysctl.conf
	#在末尾添加
	vm.max_map_count=655360
sudo sysctl -p 
reboot

2：安装elasticsearch

203、204(安装elasticsearch)：

cpp 复制代码

cd /opt
#上传软件包elasticsearch-7.10.0-linux-x86_64.tar.gz
su - es	#切换用户
cd /opt
ll
#解压软件包
tar zxvf elasticsearch-7.10.0-linux-x86_64.tar.gz
sudo mv elasticsearch-7.10.0 /etc/elasticsearch
cd /etc/elasticsearch/
cd config/
sudo vim jvm.options
	#修改内容
	-Xms2g		#堆区初始值
	-Xmx2g		#堆区最大值

修改主配置文件

cpp 复制代码

sudo vim elasticsearch.yml
	#修改内容
	cluster.name:			//名称相同
	node.name:elk1		//203上修改，204:elk2
	path.data:		//去掉注释
	path.logs:			//去掉注释
	bootstrap.memory_lock:flase
	//true改为flase
	network.host:0.0.0.0		//监听端口
	http.port:9200 		//与外部服务链接的端口
	discovery.seed_hosts:["elk1","elk2"]
   	cluster.initial_master_nodes:["elk1"]        //主节点

创建数据存放的路径

cpp 复制代码

sudo mkdir -p /path/to/data
sudo mkdir -p /path/to/logs

2个目录的归属设置

cpp 复制代码

sudo chown -R es:es /path/to/
sudo chown -R es:es /etc/elasticsearch/

启动es服务并查看

cpp 复制代码

/etc/elasticsearch/bin/elasticsearch &
sudo netstat -anpt | grep 9200

验证是否启动，查看节点集群
http://192.168.10.203:9200/_cat/nodes

四：安装Logstash

1：安装Logstash

202：

cpp 复制代码

#关闭防火墙和selinux
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
vim /etc/selinux/config
修改：SELINUX=disabled
#部署环境安装
sudo dnf -y install java-11
#上传软件包logstash-7.10.0-linux-x86_64.tar.gz
#解压软件包
tar zxvf logstash-7.10.0-linux-x86_64.tar.gz
mv logstash-7.10.0 /etc/logstash
#添加权限
chmod -R 777 /etc/logstash/data/

2：测试安装结果

直接输出到屏幕

cpp 复制代码

/etc/logstash/bin/logstash -e "input { stdin{} }output{ stdout{codec => rubydebug} }"

logstash配置文件

cpp 复制代码

vim system.conf
input {
	file {
		path=>"/var/log/messages"
		type=>"system"
		start_position=>"beginning"
	}
}
output {
	elasticsearch {
		hosts=>["192.168.10.203:9200"]
		index=>"system-%{+YYYY.MM.dd}"
	}
}

启动

cpp 复制代码

/etc/logstash/bin/logstash -f /etc/logstash/config/system.conf &

五：安装Kibana

203：切换用户，在es用户中进行

cpp 复制代码

su - es
cd /opt
#上传软件包kibana-7.10.0-linux-x86_64.tar.gz
#解压软件包
tar zxvf kibana-7.10.0-linux-x86_64.tar.gz
sudo mv kibana-7.10.0-linux-x86_64 /etc/kibana
sudo chown -R es:es /etc/kibana
cd /etc/kibana
cd config/
vim kibana.yml
	server.port:5601
	server.host:"0.0.0.0"
	elasticsearch.hosts:"http://192.168.10.203:9200"
	kibana.index:".kibana"
	i18n.locale:"zh-CN"
/etc/kibana/bin/kibana &

验证是否启动，查看kibana
http://192.168.10.203:5601

六：Filebeat

1：安装httpd

cpp 复制代码

#关闭防火墙和selinux
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#安装httpd
dnf -y install httpd
systemctl start httpd
systemctl enable httpd
netstat -anpt | grep httpd
echo "nihao" > /var/www/html/index.html
curl 192.168.10.201
cat /var/log/httpd/access_log

2：安装filebeat

cpp 复制代码

#上传filebeat-7.10.0-linux-x86_64.tar.gz
#解压
tar zxvf filebeat-7.10.0-linux-x86_64.tar.gz
mv filebeat-7.10.0-linux-x86_64 /etc/filebeat/
cd /etc/filebeat/
mv filebeat.yml filebeat.yml.bak
vim filebeat.yml
	filebeat.inputs:
	- type：log
	  paths:
	      - /var/log/httpd/access_log

	output.logstash:
	   hosts：["192.168.10.202:5044"]
#启动服务
/etc/filebeat/filebeat -c /etc/filebeat/filebeat.yml &

vim beats.conf
input {
	beats {
		port=>"5044"
		codec=>"json"
	}
}

output {
	elasticsearch {
		hosts=>["192.168.10.203:9200"]
		index=>"weblog-beat-%{+YYYY.MM.dd}"
	}
}

3：运行启动

cpp 复制代码

/etc/logstash/bin/logstash -f /etc/logstash/config/beats.conf --path.data=/etc/logstash/config/web01 &

4：验证

http://192.168.10.201