ELK安装、部署、调试 （二） ES的安装部署

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口操作ES，也可以利用Java API。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

1.概念以及特点

1、Elasticsearch和MongoDB/Redis/Memcache一样，是非关系型数据库。

是一个接近实时的搜索平台，从索引这个文档到这个文档能够被搜索到只有一个轻微的延迟，企业应用定位：采用Restful API标准的可扩展和高可用的实时数据分析的全文搜索工具。

2、可拓展：支持一主多从且扩容简易，只要cluster.name一致且在同一个网络中就能自动加入当前集群；本身就是开源软件，也支持很多开源的第三方插件。

3、高可用：在一个集群的多个节点中进行分布式存储，索引支持shards和复制，即使部分节点down掉，也能自动进行数据恢复和主从切换。

4、采用RestfulAPI标准：通过http接口使用JSON格式进行操作数据。

5、数据存储的最小单位是文档，本质上是一个JSON 文本：

2，下载及安装

下载es,Download Elasticsearch | Elastic

https://www.elastic.co/cn/downloads/elasticsearch

百度网盘中elk下有

安装：

tar -zxvf elasticsearch-7.9.3-linux-x86_64.tar.gz -C /usr/local

es需要创建一个普通的用户，本身是禁止root来启动es，也是为了安全

useradd esuser

chown -R esuser:esuser /usr/loca/elasticsearch 目录授权

我的操作

[root@localhost elasticsearch]# useradd esuser
[root@localhost elasticsearch]# ls
useradd esuser
mkdir -p /data1/elasticsearch
mkdir -p /data2/elasticsearch
chown -R esuser:esuser /usr/local/elasticsearch
chown -R esuser:esuser /data1/elasticsearch
chown -R esuser:esuser /data2/elasticsearch

3.系统及jvm 优化es

1.操作系统优化

/etc/sysctl.conf 文件添加内容如下
fs.file-max=655360   系统最大打开文件数
vm.max_map_count=262144 配置java的进程使用虚拟内存的大小

fs.file-max=655360   
vm.max_map_count=262144

/etc/security/limits.conf
* soft nproc  204800  最大进程数
* hard nproc  204800  最大进程数


* soft nofile 655360
* hard nofile 655350

* soft memlock unlimited
* hard memlock unlimited

/etc/security/limits.d/20-nproc.conf(仅centos7)
* soft nproc 4096 改为20480 
或者直接删除此文件。
sysctl -p

ulimit -a 查看配置是否生效

2.jvm优化，对其使用的内存进行优化

vi /usr/local/elasticsearch/config/jvm.options
修改
-Xms2g
-Xmx2g
默认是2g，推荐测试系统内存的1/2

4.配置ES

/usr/local/elasticsearch/config/elasticsearch

默认所有配置都是注释掉的

# 集群名称，如果不指定，默认是elasticsearch
cluster.name: my-ly-elk

节点名称，默认从elasticsearch-***/lib/elasticsearch-2.4.3.jar!config/names.txt中随机选择一个名称
node.name: server-1

节点是否有权利成为master,默认true，一般第一台启动的es会被认定为master
node.master:true

是否为数据存储节点，即是datanode节点
node.data:true 

注意：如果node.master和node.data都是false，则这个节点为client node，类似于路由器，只有转发的能力。

配置文件的路径
path.conf: /usr/local/elasticsearch/config
#

可以指定es的数据存储目录，默认存储在es_home/data目录下
path.data: /data1/elasticsearch,/data2/elasticsearch
#


# 可以指定es的日志存储目录，默认存储在es_home/logs目录下
path.logs: /usr/local/elasticsearch/logs

#es插件的存放路径
path.plugins:/usr/local/elasticsearch/plugins


锁定物理内存地址，防止elasticsearch内存被交换出去,也就是避免es使用swap交换分区
bootstrap.memory_lock: true


# 为es设置ip绑定，默认是127.0.0.1，也就是默认只能通过127.0.0.1 或者localhost才能访问
# es1.x版本默认绑定的是0.0.0.0 所以不需要配置，但是es2.x版本默认绑定的是127.0.0.1，需要配置
network.host: 0.0.0.0


# 为es设置自定义端口，默认是9200
# 注意：在同一个服务器中启动多个es节点的话，默认监听的端口号会自动加1：例如：9200，9201，9202...
# Set a custom port for HTTP:
http.port: 9200

9300为es节点之间的通信端口

配置最小的master节点数，通过配置这个参数来防止集群脑裂现象 (集群总节点数量/2)+1
discovery.zen.minimum_master_nodes:1
如果节点少的话，配置为1，如果配置大了，而没有那么多master节点，会造成es集群无法启动

配置自动发现其他节点，超时的时间。默认为3s，网络条件不太好时设置大一些
discovery.zen.ping.timeout:3s

配置多播发现节点
discovery.zen.ping.multicast.enabled:false


master节点的初始化。将所有的master节点配置到这里,包括自己的ip
discovery.zen.ping.unicast.host:["10.10.10.65:9300","10.10.10.66:9300"]


cluster.name: my-ly-elk
node.name: server-65
node.master: true
node.data: true
#path.conf: /usr/local/elasticsearch/config
path.data: /data1/elasticsearch,/data2/elasticsearch
path.logs: /usr/local/elasticsearch/logs
#path.plugins: /usr/local/elasticsearch/plugins
bootstrap.memory_lock: true
network.host: 0.0.0.0
http.port: 9200
discovery.zen.minimum_master_nodes: 1
#discovery.zen.ping.timeout: 3s
#discovery.zen.ping.multicast.enabled: false
discovery.zen.ping.unicast.hosts: ["10.10.10.65:9300","10.10.10.66:9300","10.10.10.67:9300"]
cluster.initial_master_nodes: ["10.10.10.65", "10.10.10.66"]     #此参数需要配置，如果默认不配置，kibana连接es会
报错

#注释掉的都是启动时报错了 然后才注释掉的

5.启动ES

su - esuser

ES目录下 bin/elasticsearch -d #-d是配置为后台运行

启动后查看日志/usr/local/elasticsearch/logs/集群名.log

启动成功后ps -ef| grep java也可以看到

或者用curl http://ip：9200查看三台服务器的信息

[esuser@localhost elasticsearch]$ curl http://10.10.10.66:9200

curl: (7) Failed connect to 10.10.10.66:9200; 没有到主机的路由

[esuser@localhost elasticsearch]$ curl http://10.10.10.66:9200

{
  "name" : "server-66",
  "cluster_name" : "my-ly-elk",
  "cluster_uuid" : "_na_",
  "version" : {
    "number" : "7.9.3",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "c4138e51121ef06a6404866cddc601906fe5c868",
    "build_date" : "2020-10-16T10:36:16.141335Z",
    "build_snapshot" : false,
    "lucene_version" : "8.6.2",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}
[esuser@localhost elasticsearch]$

如上图，正常