elasticSearch常见的面试题

常见的面试问题

描述使用场景

es集群架构3个节点,根据不同的服务创建不同的索引,根据日期和环境,平均每天递增60*2,大约60Gb的数据。

调优技巧

原文参考:干货 | BAT等一线大厂 Elasticsearch面试题解读 - 掘金

设计阶段的调优

  1. 根据业务增长的需求,采取日期模版创建索引,通过roll over API实现滚动索引

定义条件,生成新的索引,但都指向一个别名

https://juejin.cn/post/6959744054905012231

  1. 根据别名对索引进行管理

  2. 凌晨对索引进行force_merge操作,释放空间

合并Lucene索引在每个分片中保存的分段数,强制合并减少分片中的分段数量

https://blog.csdn.net/weixin_43820556/article/details/122986027

  1. 冷热分离机制,热数据放在SSD,冷数据定期shrink操作,缩减存储

删除副本,只读索引,减少主分片的数量

https://blog.csdn.net/UbuntuTouch/article/details/109004225

  1. 使用curator进行索引的生命周期管理

对索引和快照进行管理,配置规则,定时任务调用

https://cloud.tencent.com/developer/article/1382110

  1. 仅针对需要分词的字段,选用合适的分词器

  2. Mapping阶段充分结合各个字段的属性,是否要检索、存储

写入调优

  1. 写入前refresh_interval=-1

默认情况下索引的refresh_interval为1秒,这意味着数据写1秒后就可以被搜索到,每次索引的 refresh 会产生一个新的 lucene 段,这会导致频繁的 segment merge 行为,如果你不需要这么高的搜索实时性,应该降低索引refresh 周期

  1. 采用bulk批量写入

  2. 使用自动生成的id

写入 doc 时如果是外部指定了 id,es 会先尝试读取原来doc的版本号, 判断是否需要更新,使用自动生成 doc id 可以避免这个环节

查询调优

  1. 禁用批量terms(分页)
  2. 数据量大时,先基于时间范围检索
  3. 充分利用倒排索引机制,keyword查询
  4. 合理的路由机制

索引数据多的调优和部署

动态索引

基于模板+时间+rollover api 滚动创建索引

存储层面

冷热数据分离存储,冷数据force_merge+shrink压缩

部署层面

合理的前期规划,动态增加节点缓解集群压力

master选举机制

基本前提

  1. 候选主节点才能成为主节点
  2. 最小主节点数防止脑裂
选举流程

索引文档流程

文档获取分片

文档id计算目标分片id

Java 复制代码
shard = hash(_routing) % (num_of_primary_shards)
相关推荐
爱吃面的猫3 小时前
大数据Hadoop之——Flink1.17.0安装与使用(非常详细)
大数据·hadoop·分布式
Fireworkitte4 小时前
安装 Elasticsearch IK 分词器
大数据·elasticsearch
ywyy67985 小时前
短剧系统开发定制全流程解析:从需求分析到上线的专业指南
大数据·需求分析·短剧·推客系统·推客小程序·短剧系统开发·海外短剧系统开发
暗影八度7 小时前
Spark流水线数据质量检查组件
大数据·分布式·spark
白鲸开源7 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据
海豚调度7 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据·人工智能·ai·开源
白鲸开源8 小时前
DolphinScheduler+Sqoop 入门避坑:一文搞定数据同步常见异常
大数据
学术小八9 小时前
第二届云计算与大数据国际学术会议(ICCBD 2025)
大数据·云计算
求职小程序华东同舟求职9 小时前
龙旗科技社招校招入职测评25年北森笔试测评题库答题攻略
大数据·人工智能·科技
二二孚日9 小时前
自用华为ICT云赛道Big Data第六章知识点-分布式搜索服务ElasticSearch
大数据·华为