Elasticsearch 索引数据多了,调优,部署方案

1:动态索引层面

基于 模板+时间+rollover api 滚动 创建索引,举例:设计阶段定义:blog 索引的模板格式为:blog_index_时间戳的形式,每天递增数据。这样做的好处:不至于数据量激增导致单个索引数据量非常大,接近于上线 2 的32 次幂-1,索引存储达到了 TB+甚至更大。一旦单个索引很大,存储等各种风险也随之而来,所以要提前考虑+及早避免。

2: 存储层面

冷热数据分离存储 ,热数据(比如最近 3 天或者一周的数据),其余为冷数据。对于冷数据不会再写入新数据,可以考虑定期 force_merge 加 shrink 压缩操作,节省存储空间和检索效率。

3:部署层面

一旦之前没有规划,这里就属于应急策略。结合 ES 自身的支持动态扩展的特点,动态新增机器的方式可以缓解集群压力,注意:如果之前主节点等 规划合理 ,不需要重启集群也能完成动态新增的。

相关推荐
GEO AI搜索优化助手37 分钟前
GEO生态重构:生成式引擎优化如何重塑信息传播链
人工智能·搜索引擎·生成式引擎优化·ai优化·geo搜索优化
火星资讯1 小时前
Zenlayer AI Gateway 登陆 Dify 市场,轻装上阵搭建 AI Agent
大数据·人工智能
星海拾遗1 小时前
git rebase记录
大数据·git·elasticsearch
Elastic 中国社区官方博客1 小时前
Elasticsearch:在分析过程中对数字进行标准化
大数据·数据库·elasticsearch·搜索引擎·全文检索
香精煎鱼香翅捞饭3 小时前
记一次多线程调用TDEngine restful获取数据的时间异常
大数据·时序数据库·tdengine
AI_56784 小时前
Webpack5优化的“双引擎”
大数据·人工智能·性能优化
慎独4135 小时前
家家有平台:Web3.0绿色积分引领消费新纪元
大数据·人工智能·物联网
百***24375 小时前
GPT-5.2 技术升级与极速接入指南:从版本迭代到落地实践
大数据·人工智能·gpt
阿里云大数据AI技术5 小时前
打破 IK 分词“架构陷阱”——阿里云 ES Serverless 索引级词典的完美热更新实践
搜索引擎
专业开发者6 小时前
奇迹由此而生:回望 Wi-Fi® 带来的诸多意外影响
大数据