ELK日志分析系统

1、定义

ELK是一套完整的日志集中处理方案，由三个开源软件简称组成****【面试题。面试问每个组件是干什么用的】****

①E：ElasticSearch（ES），一个开源的、分布式的存储检索引擎（索引型的非关系型数据库）

由java代码开发的，基于Lucene结构开发的一套全文检索引擎，拥有一个web接口，用户可以通过浏览器的形式和ES组件进行通信

作用：存储日志

存储形式：允许全文搜索或结构化搜索（指定索引点进行搜索），索引点支持大容量的日志数据，并支持搜索其他不同类型的文档

②K：Kiabana，图形化界面，能更好的分析存储在ES上的日志数据，提供了一个图形化的界面来浏览ES上的日志数据

作用：浏览、汇总、分析、搜索日志

③L：Logstash，数据收集引擎，支持实时的从各种服务应用收集日志资源，并对收集到的日志数据过滤、分析，在一定程度上丰富日志数据，还可以统一格式等操作，最后数据同步到ES存储引擎

由RUBY语言编写，运行在java虚拟机上的一个强大的数据处理工具，数据传输、格式化处理、格式化输出

作用：实时收集、处理日志

日志流向：

Logstash****→**** ES****→**** Kiabana

（1） ELK的作用

当我们管理一个大集群时，需要分析和定位的日志很多，每一台服务器分别去分析，将会耗时耗力，应运而生一个集中统一的日志管理和分析系统，极大提高定位问题的效率

（2） ELK的特征

①收集日志。市面上常用的软件都可以收集日志

②传输日志。收集到的日志需要发送到ES上

③存储日志。ES负责存储数据

④图形化界面。kiabana负责显示图形化界面

2、数据收集工具

轻量级的开源的日志收集工具：filebeat。收集速度快，但没有数据分析和过滤的能力，一般结合logstash一起使用

中间件消息队列工具：kafka、RabbitMQ

3、数据流向和架构图

4、ES性能调优（实验环境中安装启动ES前不要调整此性能）

（1）打开的最大文件数/etc/security/limits.conf

* soft nofile 65536

* hard nofile 65536

* soft nproc 32000

* hard nproc 32000

* soft memlock unlimited

* hard memlock unlimited #不限制使用内存大小

reboot重启生效

（2）系统配置优化文件/etc/systemd/system.conf

末尾添加

reboot重启生效

DefaultLimitNOFILE=65536

一个用户会话的默认最大文件描述符的限制量

文件描述符：用于标识打开文件或者I/O资源的整数

DefaultLimitNPROC=32000

一个用户可以打开的最大进程数量的限制32000个（一个用户的终端可以运行多少个进程）

DefaultLimitMEMLOCK=infinity

一个用户的终端默认锁定内存的限制，infinity不限制

（3）内核优化vim /etc/sysctl.conf

ES基于lucene架构，可以利用操作系统的内存缓存ES的索引数据，可以提供更快的查询速度。在工作中，会把系统的一半内存留给lucene

部署ES的通用规则：

①机器内存＜64G，50%给ES，50%给操作系统，让操作系统的内存给ES缓存数据

②机器内存＞64G，ES分配4G~32G即可，其余皆给操作系统，让操作系统的内存给ES缓存数据

末尾添加vm.max_map_count=262144

一个进程可以拥有的最大内存映射区参数

内存映射：将文件或其他设备映射到进程地址空间的方法，允许进程直接读取或写入文件，无需常规的I/O读写方式。映射空间越大，ES和lucene的速度越快

|--------------|-------------------|
| 内存大小 | 最大内存映射区参数 |
| 2g | 262144 |
| 4g | 4194304 |
| 8g | 8388608 |

5、搭建ELK集群实验

****实验目的：****一体化查看日志

实验条件：

|-------------|------------------|--------------|-------------------------------|-------------------------|
| 主机名 | 服务器 | IP地址 | 组件 | 硬件 （最少） |
| test2 | es1 | 20.0.0.20 | ES+node+phantomjs+phantomjs组件 | 2核4G |
| test3 | es2 | 20.0.0.30 | ES+node+phantomjs+phantomjs组件 | 2核4G |
| test1 | logstash+kiabana | 20.0.0.10 | logstash+kiabana | 4核8G |

实验步骤：

1、es1、es2安装ES组件

（1） 修改ES组件的配置文件****【严格执行标准格式，错误不会报错】****

vim /etc/elasticsearch/elasticsearch.yml

es1

es2

（2）重启，设置成开机自启

日志文件路径tail -f /var/log/elasticsearch/my-elk-cluster.log

（3）检测ES配置文件grep -v "^#" /etc/elasticsearch/elasticsearch.yml

（4）测试ES组件

（5）检查集群的健康状态

http://20.0.0.20:9200/_cluster/health?pretty

ES组件安装完成

2、es1、es2安装图形化依赖环境

（1）安装C语言环境yum install gcc gcc-c++ make -y

（2）安装node组件

tar -xf node-v8.2.1.tar.gz

cd node-v8.2.1/

./configure

make && make install

（3）安装phantomjs组件

【WebKit插件。PhantomJS是一种没有图形用户界面的网络浏览器】

（4）安装elasticsearch-head-master数据可视化工具

|------|--------------|
| 9100 | 可视化工具的访问端口 |
| 9200 | ES数据库对外访问的端口 |
| 9300 | ES数据库内部访问的端口 |

①修改ES-head配置文件

vim /etc/elasticsearch/elasticsearch.yml

尾行添加

http.cors.enabled: true

http.cors.allow-origin: "*"

②后台打开可视化界面服务npm run start &

（5）测试可视化工具http://20.0.0.30:9100/

可视化工具完成

（6）插入索引

curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"yst","mesg":"heelo world"}'

插入一个测试索引，索引为 index-demo，类型为 test

插入索引前：

插入索引后：

加粗的黑框是主索引节点，没加黑框的是普通索引

3、test1安装logstash组件

rpm -ivh logstash-6.7.2.rpm

|------------|----------------------------------|
| logstash命令常用选项 ||
| -f | 指定配置文件，根据配置文件识别输入和输出流 |
| -e | 测试。从命令行中获取输入，经过logstash加工后形成标准输出 |
| -d | 检测配置文件是否正确，然后退出 |

（1）测试logsstash

①从键盘上发送，输出到界面

logstash -e 'input { stdin{} } output { stdout{} }'

input从哪里来

stdin从键盘来

output到哪里去

所有的键盘命令行输出转化成标准输出（rubydebug模式），6.0后，logstash的默认输出格式就是rubydebug格式的标准输出