ElasticSearch 常用查询优化方式

设计阶段调优
1: 根据业务增量需求,采取基于日期模板创建索引,通过 roll over API 滚动索引;
2: 使用别名进行索引管理;
3: 每天凌晨定时对索引做 force_merge 操作,以释放空间;
4: 采取冷热分离机制,热数据存储到 SSD,提高检索效率;冷数据定期进行 shrink操作,以缩减存储;
5: 采取 curator 进行索引的生命周期管理;
6: 仅针对需要分词的字段,合理的设置分词器;
7: Mapping 阶段充分结合各个字段的属性,是否需要检索、是否需要存储等。

写入调优
1: 写入前副本数设置为 0;
2: 写入前关闭 refresh_interval 设置为-1,禁用刷新机制;
3: 写入过程中:采取 bulk 批量写入;
4: 写入后恢复副本数和刷新间隔;
5: 尽量使用自动生成的 id。

查询调优
1: 禁用 wildcard;
2: 禁用批量 terms(成百上千的场景);
3: 充分利用倒排索引机制,能 keyword 类型尽量 keyword;
4: 数据量大时候,可以先基于时间敲定索引再检索;
5: 设置合理的路由机制。

其他调优

部署调优,业务调优等。

相关推荐
大大大大晴天4 小时前
每天认识一个组件:Apache Spark
大数据
新*4 小时前
Elasticsearch 7.17 的 SQL 到底能查到什么?一次踩坑记录
后端·sql·elasticsearch·查询
七夜zippoe9 小时前
Agent 上线第一天就炸了:6 个生产事故的根因分析与修复记录
大数据·ai·agent·根因分析·修复记录
字节跳动数据平台11 小时前
不重拍,也能换道具、换商品、换画风?短剧转漫、电商换款新解法来了
大数据
武子康11 小时前
攻击动作做对了,游戏规则就对了吗?H3-World 与三条控制路线的分工
大数据·人工智能·agent
Lansonli12 小时前
大数据Spark(八十七):Spark-Submit 参数详解
大数据·分布式·spark
cc57250265312 小时前
数据科学与大数据技术专业考证清单有哪些?
大数据
喵个咪1 天前
GoWind CMS 拆解:搜索三板斧——高亮、联想、同义词
后端·搜索引擎·go
喵个咪1 天前
GoWind Admin 拆解:BI 大屏设计器——schema 即 JSON、resolver 注入与三张快照表的口径谱系
大数据·后端·go
武子康1 天前
H3-World 的 11.3 小时训练数据,是怎样对齐成动作监督的?
大数据·人工智能·深度学习