ELK日志系统

（一）ELK

1、elk：是一套完整的日志集中处理方案，由三个开源的软件简称组成

2、E：ElasticSearch（ ES ），是一个开源的，分布式的存储检索引擎（索引型的非关系型数据库），日志存储

（1）Java代码开发的，基于lucene结构开发的一套全文索引引擎，拥有一个web接口，用户可以通过浏览器的形式和ES组件进行通信

（2）作用：存储允许全文搜索，结构化搜索（索引点），索引点可支持大容量的日志数据，也可以搜索所有不同类型的文档

3、L：Logstash，数据搜索引擎，支持动态的（实时）从各种服务应用收集日志资源，还可以收集到日志数据进行过滤、分析、丰富、统一格式等等操作，然后把操作同步到ES存储引擎

4、K：Kiabana，图形化界面，可以更好的分析存储在ES上的日志数据，提供了一个图形化的界面，来浏览ES上的日志数据，汇总、分析、搜索

5、工具

（1）RUBY语言编写的，运行在Java虚拟机上的一个强大的数据处理工具，数据传输，格式化处理，格式化输出，主要用来处理日志

（2）数据收集工具：

①filebeat：轻量级的开源的，日志收集统计、收集的速度比较快、但是没有数据分析和过滤的能力，但是一般结合logstash一块使用

②kafka：中间件消息列队

③RabbitMQ：中间件消息列队

（二）ELK的数据流向

（三）ELK的作用

1、当我们管理一个大集群时，需要分析和定位的日志就会很多，每一台服务器分别去分析，将会耗时耗力，所以应运而生了一个集中的日志管理和分析系统，极大的提高了定位问题的效率

（四）日志系统的特征

1、收集，可以收集基本市面上常用的软件日志

2、传输，收集到的日志需要发送到ES上

3、存储，ES负责存储数据

4、UI：图形化界面（kiabana）

（五）实验架构

1、三台主机：三台组件，最少2/4G

es1：20.0.0.10（2/4G）

es2：20.0.0.20（2/4G）

logstash kiabana：20.0.0.30（4/8G）

|-----------|---------------------|---------------|---------------------------------------------------|-----------------|
| 主机名 | 服务器 | IP地址 | 组件 | 硬件 （最少） |
| test2 | es1 | 20.0.0.20 | ES+node+phantomjs+elasticsearch-head-master组件 | 2核4G |
| test3 | es2 | 20.0.0.30 | ES+node+phantomjs+elasticsearch-head-master组件 | 2核4G |
| test1 | logstash+kibana | 20.0.0.10 | logstash+kibana | 4核8G |

（六）部署ELK集群

1、修改配置文件

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

2、es的性能调整

（1）修改打开的最大文件数：vim /etc/security/limits.conf（重启生效）

（2）优化内核文件：vim /etc/systemd/system.conf （重启生效）

|----------------------------------|---------------------------------------------------------|
| DefaultLimitNOFILE=65536 | 一个用户会话的默认最大文件描述符的限制量 文件描述符：用于标记打开文件或者I/O资源限制的整数 |
| DefaultLimitNPROC=32000 | 一个用户可以打开的最大进程数量的限制：32000，一个用户的终端可以运行多少个进程 |
| DefaultLimitMEMLOCK=infinity | 一个用户的终端默认锁定内存的限制， infinity 不限制 |

（3）内核优化：vim /etc/sysctl.conf

①ES是基于lucene架构，实现的一款索引型数据库，lucene可以利用操作系统的内存来缓存ES的索引数据，提供更快的查询速度，在工作中我们会把系统的一半内存留给lucene

②若机器内存小于64G，50%给es，50%给操作系统（lucene）

②若机器内存大于64G，es分配4-32G，其他都给操作系统（lucene）

|-----------------------------|-----------------------------------------------------------------------------------------------------|
| vm.max_map_count=262144 | 一个进程可以拥有的最大内存映射区参数 内存映射：将文件或者其他设备映射进程地址空间的方法，允许进程直接读取或写入文件，无需常规的I/O方式。映射空间越大，ES和lucene的速度越快 |
| 2g/262144 ； 4g/4194304 ； 8g/8388608 ||

（七）部署node环境

yum install gcc gcc-c++ make -y

tar zxvf node-v8.2.1.tar.gz

./configure

make && make install make -j2 && make install

1、安装phantomjs组件

【WebKit插件。PhantomJS是一种没有图形用户界面的网络浏览器】

tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2

cd /opt/phantomjs-2.1.1-linux-x86_64/bin

cp phantomjs /usr/local/bin

2、安装 Elasticsearch-head 数据可视化工具

unzip elasticsearch-head-master.zip

cd elasticsearch-head-master/

npm install ：安装依赖包

（1）修改Elasticsearch主配置文件：vim /etc/elasticsearch/elasticsearch.yml

（2）启动elasticsearch-head服务

cd /opt/elasticsearch-head-master

后台打开可视化界面服务npm run start &

3、通过Elasticsearch-head查看Elasticsearch 信息

|----------|----------------------------|
| 9100 | 可视化工具的访问端口 |
| 9200 | ES数据库 对外 访问的端口 |
| 9300 | ES数据库 内部 访问的端口 |

查询集群ES： http:// 20.0.0.20 :9 1 00

4、插入索引：通过命令插入一个测试索引，索引为 index-demo，类型为 test。

curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":" hyde ","mesg":"hello world"}'

（七）另一台服务器上部署Logstash组件：（用于收集服务器的日志信息并发送到ES）

1、logstash：一般部署在需要监控其日志的服务器上。

2、安装Java环境

yum -y install java

java -version

3、安装logstash

rpm -ivh logstash-6.7.2.rpm

systemctl start logstash.service

systemctl enable logstash.service

4、Logstash的命名常用选项

|--------|---------------------------------------------------------------------------------------------|
| -f | 通过这个选项可以指定 Logstash 的配置文件，根据配置文件配置 Logstash 的输入和输出流。 |
| -e | 测试， 从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当作 Logstash 的配置（如果是空，则默认使用 stdin 作为输入，stdout 作为输出）。 |
| -t | 测试配置文件是否正确，然后退出。 |

5、测试logsstash

logstash -e 'input { stdin{} } output { stdout{} }'

|---------------------------------------------------------|----------------------|
| logstash -e 'input { stdin{} } output { stdout{} }' | 所有的键盘命令输出，转成标准输出 |
| input从哪里来 stdin从键盘来 output到哪里去 ||