杂谈 - ElasticSearch安装,附带七个常见问题

前言

我们开发的时候,有时候需要自己安装elasticsearch作为开发环境,这时就不得不面对安装的一些小问题了。文章里列举了常见的几个问题,以及解决方案,希望对你有帮助。

安装

安装 ElasticSearch:

后台启动es

  • ./bin/elasticsearch -d

kibana安装

重启kibana

  • 使用 fuser -n tcp 5601,找到相应进程,kill
  • nohup ./bin/kibana &

x-pack安装

  1. 官网下载x-pack-5.2.2.zip
  2. 安装到es:./bin/elasticsearch-plugin install file:///home/es/x-pack-5.2.2.zip 【每个节点都需要安装】
  3. 安装到kibana:./bin/kibana-plugin install file:///home/es/x-pack-5.2.2.zip

JVM参数设置

在elasticsearch/config/jvm.options文件中设置最大堆内存

  • -Xms32600m
  • -Xmx32600m

ES 日志配置

elasticsearch/config/log4j2.properties加上慢查询日志记录:

  • index.search.slowlog.level: info
  • index.search.slowlog.threshold.query.warn: 10s
  • index.search.slowlog.threshold.query.info: 5s
  • index.search.slowlog.threshold.query.debug: 2s
  • index.search.slowlog.threshold.query.trace: 500ms
  • index.search.slowlog.threshold.fetch.warn: 1s
  • index.search.slowlog.threshold.fetch.info: 800ms
  • index.search.slowlog.threshold.fetch.debug:500ms
  • index.search.slowlog.threshold.fetch.trace: 200ms

安装问题

  1. 启动异常:max number of threads [1024] for user [es] is too low, increase to at least [2048]

解决:

js 复制代码
cat << EOF > /etc/security/limits.d/90-nproc.conf
 *          soft    nproc     4096
 root       soft    nproc     unlimited
 EOF

soft nproc 默认配置为1024

  1. 启动异常:max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决:

[root@localhost ~]# sysctl -w vm.max_map_count=655360 【临时修改】

或者永久修改:

  1. echo 'vm.max_map_count=655360' >> /etc/sysctl.conf
  2. sysctl -p 使之生效

查看修改结果:

js 复制代码
[root@localhost ~]# sysctl -a|grep vm.max_map_count

 vm.max_map_count = 262144

虚拟内存块介绍:

进程内存管理的对象是进程线性地址空间上的内存镜像,这些内存镜像其实就是进程使用的虚拟内存区域(memory region)。进程虚拟空间是个32或64位的"平坦"(独立的连续区间)地址空间(空间的具体大小取决于体系结构)。要统一管理这么大的平坦空间可绝非易事,为了方便管理,虚拟空间被划分为许多大小可变的(但必须是4096的倍数)内存区域,这些区域在进程线性地址中像停车位一样有序排列。这些区域的划分原则是"将访问属性一致的地址空间存放在一起",所谓访问属性在这里无非指的是"可读、可写、可执行等"。

如果你要查看某个进程占用的内存区域,可以使用命令cat /proc//maps获得(pid是进程号)

  1. 异常:max file descriptors [1024] for elasticsearch process likely too low, increase to at least [65536]

解决:

js 复制代码
cat << EOF > /etc/security/limits.conf
 * soft nofile 655360
 * hard nofile 655360
 * soft memlock unlimited
 * hard memlock unlimited
 EOF
  1. 异常:system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk

解决:

在elasticsearch.yml里添加配置:bootstrap.system_call_filter: false

  1. 启动告警:设置jvm锁住内存时启动警告

当设置bootstrap.mlockall: true时,启动es报警告Unknown mlockall error 0,因为linux系统默认能让进程锁住的内存为45k。

解决:

设置为无限制,linux命令:ulimit -l unlimited

  1. 异常:写入es时告警:No data nodes with HTTP-enabled available

分析:查看源码得知,在初始化写入实例时,默认会去寻找data node,但是我们集群部署时dn并没有开启http服务。找不到dn,校验通不过就会告警了。想绕过此校验,默认es.nodes.data.only是true,在客户端中将其设置为false即可。

解决:在客户端中es.nodes.data.only设置为false

  1. 修改线程池的队列大小和核心线程数量
  • 查看各线程池的状态:GET _cat/thread_pool?v&h=id,host,name,port,type,size,queue,queue_size,min,max,active,rejected,completed
  • 查看单个线程池的状态,比如search:GET _cat/thread_pool/search?v&h=id,host,name,port,type,size,queue,queue_size,min,max,active,rejected,completed

修复:

ES5.0以后不支持用接口动态修改此参数,需要在ES数据节点上,写入下面配置并重启

  • thread_pool.search.size: 50
  • thread_pool.search.queue_size: 5000
相关推荐
YuTaoShao1 小时前
【LeetCode 热题 100】56. 合并区间——排序+遍历
java·算法·leetcode·职场和发展
程序员张31 小时前
SpringBoot计时一次请求耗时
java·spring boot·后端
llwszx4 小时前
深入理解Java锁原理(一):偏向锁的设计原理与性能优化
java·spring··偏向锁
云泽野5 小时前
【Java|集合类】list遍历的6种方式
java·python·list
二进制person5 小时前
Java SE--方法的使用
java·开发语言·算法
小阳拱白菜6 小时前
java异常学习
java
FrankYoou7 小时前
Jenkins 与 GitLab CI/CD 的核心对比
java·docker
麦兜*8 小时前
Spring Boot启动优化7板斧(延迟初始化、组件扫描精准打击、JVM参数调优):砍掉70%启动时间的魔鬼实践
java·jvm·spring boot·后端·spring·spring cloud·系统架构
KK溜了溜了8 小时前
JAVA-springboot 整合Redis
java·spring boot·redis
大只鹅8 小时前
解决 Spring Boot 对 Elasticsearch 字段没有小驼峰映射的问题
spring boot·后端·elasticsearch