elasticSearch常见的面试题

常见的面试问题

描述使用场景

es集群架构3个节点,根据不同的服务创建不同的索引,根据日期和环境,平均每天递增60*2,大约60Gb的数据。

调优技巧

原文参考:干货 | BAT等一线大厂 Elasticsearch面试题解读 - 掘金

设计阶段的调优

  1. 根据业务增长的需求,采取日期模版创建索引,通过roll over API实现滚动索引

定义条件,生成新的索引,但都指向一个别名

https://juejin.cn/post/6959744054905012231

  1. 根据别名对索引进行管理

  2. 凌晨对索引进行force_merge操作,释放空间

合并Lucene索引在每个分片中保存的分段数,强制合并减少分片中的分段数量

https://blog.csdn.net/weixin_43820556/article/details/122986027

  1. 冷热分离机制,热数据放在SSD,冷数据定期shrink操作,缩减存储

删除副本,只读索引,减少主分片的数量

https://blog.csdn.net/UbuntuTouch/article/details/109004225

  1. 使用curator进行索引的生命周期管理

对索引和快照进行管理,配置规则,定时任务调用

https://cloud.tencent.com/developer/article/1382110

  1. 仅针对需要分词的字段,选用合适的分词器

  2. Mapping阶段充分结合各个字段的属性,是否要检索、存储

写入调优

  1. 写入前refresh_interval=-1

默认情况下索引的refresh_interval为1秒,这意味着数据写1秒后就可以被搜索到,每次索引的 refresh 会产生一个新的 lucene 段,这会导致频繁的 segment merge 行为,如果你不需要这么高的搜索实时性,应该降低索引refresh 周期

  1. 采用bulk批量写入

  2. 使用自动生成的id

写入 doc 时如果是外部指定了 id,es 会先尝试读取原来doc的版本号, 判断是否需要更新,使用自动生成 doc id 可以避免这个环节

查询调优

  1. 禁用批量terms(分页)
  2. 数据量大时,先基于时间范围检索
  3. 充分利用倒排索引机制,keyword查询
  4. 合理的路由机制

索引数据多的调优和部署

动态索引

基于模板+时间+rollover api 滚动创建索引

存储层面

冷热数据分离存储,冷数据force_merge+shrink压缩

部署层面

合理的前期规划,动态增加节点缓解集群压力

master选举机制

基本前提

  1. 候选主节点才能成为主节点
  2. 最小主节点数防止脑裂
选举流程

索引文档流程

文档获取分片

文档id计算目标分片id

Java 复制代码
shard = hash(_routing) % (num_of_primary_shards)
相关推荐
天翼云开发者社区11 分钟前
Doris-HDFS LOAD常见问题汇总(二)
大数据·doris
简婷1870199877536 分钟前
源网荷储 + 零碳园区:一场关于能源与未来的双向奔赴
大数据·人工智能·能源
2201_756776771 小时前
网络安全初级
大数据·elasticsearch·搜索引擎
m0_703323671 小时前
SEO外包服务甄选指南:避开陷阱,精准匹配
大数据·人工智能
zzywxc7872 小时前
AI技术通过提示词工程(Prompt Engineering)正在深度重塑职场生态和行业格局,这种变革不仅体现在效率提升,更在重构人机协作模式。
java·大数据·开发语言·人工智能·spring·重构·prompt
张先shen2 小时前
Elasticsearch RESTful API入门:索引的增删改查完全指南
java·大数据·elasticsearch·搜索引擎·架构·全文检索·restful
yzx9910132 小时前
AI大模型平台
大数据·人工智能·深度学习·机器学习
重生之后端学习3 小时前
day08-Elasticsearch
后端·elasticsearch·spring cloud·中间件·全文检索·jenkins
Elasticsearch4 小时前
全领域的 AI 采用:主要用例和需避免的错误
elasticsearch
Elasticsearch4 小时前
使用 Maximum Marginal Relevance 实现搜索结果多样化
elasticsearch