（17）ELK大型储存库的搭建

前言：

els是大型数据储存体系，类似于一种分片式存储方式。elasticsearch有强大的查询功能，基于java开发的工具，结合logstash收集工具，收集数据。kibana图形化展示数据，可以很好在大量的消息中准确的找到符合条件，人们想知道的信息。并且支持多种数据类型。

实验环境：

关掉selinux和防火墙，做时间同步

192.168.121.30 vm2.cluster.com elasticsearch

192.168.121.40 vm1.cluster.com logstash

192.168.121.50 vm3.cluster.com kibana

一、elasticsearch的安装

地址：https://www.elastic.co/cn/downloads

找到资源，下载，对应Linux的版本就行了

root@vm2 \~# vim /etc/hosts

写入三行数据

192.168.121.30 vm2.cluster.com elasticsearch

192.168.121.40 vm1.cluster.com logstash

192.168.121.50 vm3.cluster.com kibana

#scp /etc/hosts root@192.168.121.40:/etc/hosts

#scp /etc/hosts root@192.168.121.50:/etc/hosts 远程传到对应主机

hostnamectl hostname vm2.cluster.com

yum -y install lrzsz tar net-tools wget chrony

#timedatectl时间同步

yum -y install java-1.8.0*

安装java,基于es是java开发

root@vm2 \~# java -version

openjdk version "1.8.0_422" 查看版本，是否下载

root@vm2 \~# rpm -ivh elasticsearch-6.5.2.rpm 安装es

root@vm2 \~# vim /etc/elasticsearch/elasticsearch.yml

定义集合的名字，打开9200端口，监听所有ip，所有主机，更改三个地方

cluster.name: elk-cluster 可以自定义一个集群名称,不配置的话默认会取名为elasticsearch

path.data: /var/lib/elasticsearch

path.logs: /var/log/elasticsearch

network.host:0.0.0.0打开注释,并修改为监听所有

http.port: 9200 打开注释,监听端口9200

root@vm2 \~# systemctl restart elasticsearch.service 重启服务

root@vm2 \~# systemctl enable elasticsearch.service

root@vm2 \~# ss -anlt

State Recv-Q Send-Q Local Address:Port Peer Address:Port Process

LISTEN 0 128 0.0.0.0:22 0.0.0.0:*

LISTEN 0 4096 *:9200 *:*

LISTEN 0 128 :::22 :::*

LISTEN 0 4096 *:9300 *:* 查看9200，9300端口启用，9200是数据传输，访问的端口，9300是集群的端口。

root@vm2 \~# curl http://192.168.121.30:9200/_cluster/health?pretty

查看到集群的名字为elk-cluster,只要一个节点

二、设置节点2，192.168.121.40为第二个节点，组成集群

yum -y install lrzsz tar net-tools wget chrony

yum -y install java-1.8.0*

hostnamectl hostname vm1.cluster.com

root@vm1 \~# java -version

openjdk version "1.8.0_422"

root@vm1 \~# vim /etc/elasticsearch/elasticsearch.yml 设置节点2，不为主节点

/cluster.name: elk-cluster

/node.name: 192.168.21.40本机IP或主机名

node.master: false 指定不为master节点，这一行写道node.name下面

path.data: /var/lib/elasticsearch

path.logs: /var/log/elasticsearch

/network.host: 0.0.0.0

/http.port: 9200 开启，去掉前面的#注释

/discovery.zen.ping.unicast.hosts: "**192.168.121.30** ", "**192.168.121.40**"

填写两个节点的ip

root@vm2 \~# vim /etc/elasticsearch/elasticsearch.yml

cluster.name: elk-cluster

node.name: 192.168.121.30 本机IP或主机名

node.master: true 指定为master节点

path.data: /var/lib/elasticsearch

path.logs: /var/log/elasticsearch

network.host: 0.0.0.0

http.port: 9200

discovery.zen.ping.unicast.hosts: "192.168.121.30", "192.168.121.40"

vm添加主节点，192.168.121.30为主

root@vm1 \~# systemctl restart elasticsearch.service //重启服务

root@vm1 \~# systemctl enable elasticsearch.service

root@vm2 \~# systemctl restart elasticsearch.service

root@vm2 \~# ss -anlt 查看9200和9300端口启用

root@vm2 \~# curl http://192.168.121.30:9200/_cluster/health?pretty

查看有两个节点

三、es集合的基本参数查询

索引是一个

Node(节点)：运行单个ES实例的服务器

Cluster(集群)：一个或多个节点构成集群

Index(索引)：索引是多个文档的集合

Type(类型)：一个Index可以定义一种或多种类型，将Document逻辑分组

Document(文档)：Index里每条记录称为Document，若干文档构建一个Index

Field(字段)：ES存储的最小单元

Shards(分片)：ES将Index分为若干份，每一份就是一个分片 Replicas(副本)：Index的一份或多份副本

root@vm2 \~# curl http://192.168.121.30:9200/_cat/nodes?v

在主机和网页都是可以查询的，主机前面加一个curl就行了。那是linux访问网站的命令

root@vm2 \~# curl -X PUT http://192.168.121.30:9200/nginx_access 上传索引nginx_access

root@vm2 \~# curl http://192.168.121.30:9200/_cat/indices?v 查看索引，只要一个

root@vm2 \~# curl -X DELETE http://192.168.121.30:9200/nginx_access 删除索引

索引类似于目录，更好的查询。

上传一个写有一千条数据的json文件，关于bank银行人员的，方便查询

root@vm2 \~# curl -H "Content-Type: application/json" -XPOST "192.168.121.30:9200/bank/_doc/_bulk?pretty&refresh" --data-binary "@accounts.json"

导入后，查看索引，有一个bank的索引

root@vm2 \~# curl -X GET "192.168.121.30:9200/bank/_search?pretty" -H 'Content-Type: application/json' -d '

{

"query": {"match_all": {} }

}

'

默认查询十条

root@vm2 \~# curl -X GET "192.168.121.30:9200/bank/_search?pretty" -H 'Content-Type:application/json' -d'

{

"query": { "match_all": {} },

"from": 0

> ,

> "size": 2

> }

> '

查看两条数据

查看500到509的十条记录

root@vm2 \~# curl -X GET "192.168.121.30:9200/bank/_search?pretty" -H 'Content-Type:application/json' -d'

{

"query": { "match_all": {} },

"from": 500,

"size": 10,

"sort": [

{ "account_number": "asc" }

]

}

' 2>/dev/null

四、安装elasticsearch-head，可视化管理数据和查看参数

安装es-head需要先安装nodejs

网上找对应安装包就行了

root@vm2 \~# tar -xf node-v10.24.1-linux-x64.tar.xz -C /usr/local/

root@vm2 \~# cd /usr/local/

root@vm2 local# mv node-v10.24.1-linux-x64/ nodejs

root@vm2 local# ln -s /usr/local/nodejs/bin/npm /bin/npm

root@vm2 local# ln -s /usr/local/nodejs//bin/node /bin/node

创建软连接，使系统能使用npm命令和node命令

root@vm2 local# cd

root@vm2 \~# yum -y install unzip

root@vm2 \~# unzip elasticsearch-head-master.zip 解压zip文件，使用unzip命令

root@vm2 \~# cd elasticsearch-head-master/

先使用npm安装grunt

到head目录下安装对应工具

root@vm2 elasticsearch-head-master# npm install -g grunt-cli --registry=http://registry.npm.taobao.org //后面接一个淘宝的仓库，下载更快

root@vm2 elasticsearch-head-master# npm install phantomjs-prebuilt@2.1.16 --ignore-script --registry=http://registry.npm.taobao.org

安装npm的时候报错了，安装这个

root@vm2 elasticsearch-head-master# npm install --registry=http://registry.npm.taobao.org

安装完成，没有报错就行，有报错就要解决了

root@vm2 elasticsearch-head-master# nohup npm run start & //在head目录下，后台启动npm

root@vm2 \~# ss -anlt //查看9100端口启用

root@vm2 \~# vim /etc/elasticsearch/elasticsearch.yml //两个节点都添加连接

http.cors.enabled: true后重启es服务

http.cors.allow-origin: "*"

root@vm2 \~# systemctl restart elasticsearch.service

root@vm1 \~# vim /etc/elasticsearch/elasticsearch.yml

http.cors.enabled: true

http.cors.allow-origin: "*"

root@vm1 \~# systemctl restart elasticsearch.service

刷新网页，填写192.168.121.30的ip连接

40和30的IP都是一模一样的内容，都有bank索引，内容和数据

可以删除，操作相关内容

输入删除两个字就删除了，这里不删除，只是演示一下

不要更改/etc/hosts文件，能ping通192.168.121.30,和192.168.121.40就行了

一千多条数据，查询很快，这也是es的功能之一

五、安装logstash，结合es使用

logstash可以采集任何格式的数据,当然我们这里主要是讨论采集系统日志,服务日志等日志类型数据。主要是收集日志文件。

官方产品介绍:https://www.elastic.co/cn/products/logstash

input插件: 用于导入日志源 (配置必须)

https://www.elastic.co/guide/en/logstash/current/input-plugins.html

filter插件: 用于过滤(不是配置必须的)

output插件: 用于导出(配置必须)

在vm3.cluster.com上，IP为192.168.121.50

root@vm3 \~# yum -y install java-1.8.0*

root@vm3 \~# java -version

openjdk version "1.8.0_422"

path.data: /var/lib/logstash

path.config: /etc/logstash/conf.d/ 打开注释,并加上配置目录路径

http.host: "192.168.121.50" //本地的IP地址

http.port:9600-9700 打开端口

root@vm3 bin# cd /usr/share/logstash/bin/

root@vm3 bin# ./logstash -e 'input {stdin {}} output {stdout {}}' 运行，看到端口9600和sucess就表示运行成功了，ctrl+c结束

回车自定义输出

hi

不要更etc/hosts文件，能ping通192.168.121.30和192.168.121.40就行了

root@vm3 bin# vim /etc/logstash/conf.d/test.conf

input{

file {

path => "/var/log/messages"

start_position => "beginning"

}

}

output {

elasticsearch{

hosts => "192.168.121.30:9200"

index => "test-%{+YYYY.MM.dd}"

}

}

#cd /usr/share/logstash/bin

root@vm3 bin# ./logstash --path.settings /etc/logstash/ -r -f /etc/logstash/conf.d/test.conf &

后台启用

root@vm3 bin# ps -ef | grep java | grep -v grep

root 1750 1132 9 11:07 pts/0

root@vm3 bin# kill -9 1750 杀死进程

在/usr/share/logstash/bin执行logstash命令

root@vm3 bin# ./logstash --path.settings /etc/logstash/ -r -f /etc/logstash/conf.d/test.conf &

刷新es的网页，可以看到添加的

六、安装kibana

找到对应的版本6.5的，对应前面的es版本和logstash版本

root@vm1 \~# rpm -ivh kibana-6.5.2-x86_64.rpm

root@vm1 \~# vim /etc/kibana/kibana.yml

改四个地方

/server.port: 5601

/server.host: "0.0.0.0"

/elasticsearch.url: "http://192.168.121.30:9200"

/logging.dest: /var/log/kibana.log

root@vm1 log# cat /etc/kibana/kibana.yml |grep -v "#"

root@vm1 \~# cd /var/log/

root@vm1 log# touch kibana.log

root@vm1 log# chown kibana.kibana kibana.log

root@vm1 log# systemctl restart kibana.service

root@vm1 log# systemctl enable kibana.service

网页访问192.168.121.30:5601

系统监控，不知道英文的看图标，好吧

查看节点

多出来三个索引，是kibana的

添加yum*和bank*

扩展：

filebeat工具安装在vm1,vm2和vm3上面，收集数据给logstash，更高效更快速，最重要是节省logstash的资源，filebeat使用go语言编写，简单占用内存少。

大概步骤与上面一致，开启端口，改ip.