ES实战回顾

1、你用的集群节点情况?

一个ES集群,18个节点,其中3个主节点,15个数据节点,500G左右的索引数据量,没有单独的协调节点,它的每个节点都可以充当协调功能;

2、你们常用的索引有哪些?

业务监控、搜索sug功能、B/M端的一些,业务历史数据,业务单等

3、这些索引怎么配置的高可用?

根据数据量设置分片(3、5个都有),并设置1个副本(副本无需过多,多了要同步,也会影响性能)

4、如何做索引优化的?

(1)夜里低峰期触发 定时任务:段合并

(2)按照日期建立索引,索引模版+用别名来查询多个索引

(3)定时任务:停用/删除索引

(4)copy_to 先term精确查,结果集不够的话再 match模糊查询

5、段合并是什么东西?

ES的倒排索引文件是存在segment中,segment是存在内存中,由于每次refresh都会生产新的segment,如果segment过多会消耗较大内存,定期进行段合并有几个好处:

(1)减少内存消耗,合并段的同时会释放已删除的索引空间,业务如果使用delete by id进行索引删除,es只是把数据标记为已删除,并没有释放空间,在segment合并时会把这些数据进行清理

(2)加快查询性能,每次搜索请求都需要依次检查每个段。段越多,查询越慢。


相关推荐
2601_9672127215 分钟前
安全型电源轨道系统合规选型技术指标与行业技术路线分析
大数据·经验分享·安全
lambo mercy24 分钟前
Day3:结构化输出
java·数据库·oracle
派小心.36 分钟前
小程序分享链路中来源参数的传递校验
大数据·前端·数据库·人工智能·小程序·数据分析
Είναι η κοπέλα38 分钟前
向量数据库与嵌入模型:Chroma/FAISS/Milvus 选型
数据库·milvus·faiss
IvorySQL1 小时前
从轮询到等待——PostgreSQL WAIT FOR LSN 特性深度解析
数据库·postgresql
Sayai1 小时前
DataX 离线数据同步实战:Elasticsearch 数据批量导出 MySQL(作业配置、并发调优与定时同步平台化设计)
大数据·mysql·elasticsearch·datax·数据同步
OceanBase数据库官方博客2 小时前
被 VLDB 2027接收OceanBase 最新论文让数据库基(技术解析与实践)
数据库·人工智能·oceanbase
171320330计算机毕设编程2 小时前
计算机毕业设计 基于YOLO改进算法的车辆特征识别系统设计与实现--lw
java·大数据·python·sql·算法
星创易联2 小时前
PLC数据采集与远程运维平台:从边缘计算到集中监控
大数据·运维·边缘计算
亲笔签2 小时前
“场景重庆”典型案例 | 数字笔迹技术赋能政务服务 打造可信电子签署创新场景
大数据·人工智能