es的内部数据存储逻辑,读取逻辑

Elasticsearch的内部数据存储逻辑和读取逻辑是非常复杂的,但是可以概括为以下几点:

  1. 索引(Index): 一个索引就是一个文档的容器,它包含了很多文档。

  2. 分片(Sharding): 为了处理大量数据,Elasticsearch会将一个索引分成多个部分,每个部分就是一个分片。

  3. 副本(Replica): 每个分片可以有多个副本,以提供高可用性。

  4. Translog: 一个内部的日志文件,用于保存尚未被索引的或尚未被确认的数据变更。

  5. 段(Segment): 数据被分割成段,段是Elasticsearch最小的搜索单元。

  6. 内存缓冲区: 用于批量写入的内存缓冲区,它会在合适的时候刷新到磁盘。

读取逻辑简化为:

  • 客户端发送请求到Elasticsearch节点。

  • 节点根据请求的信息定位到包含所需数据的分片。

  • 如果需要,节点会从主分片同步数据到副本分片。

  • 节点将请求执行在本地分片上,并返回结果给客户端。

具体的读取操作涉及到分片寻址、搜索和返回结果,这些操作都是分布式和近实时的。

由于Elasticsearch的内部机制复杂,具体细节涉及到很多优化技术,例如:Lucene的倒排索引、段合并、缓存机制等。

相关推荐
starandsea3 小时前
gitlab解决传过大文件后删除导致pack过大问题
大数据·elasticsearch·gitlab
拉姆哥的小屋4 小时前
时间序列早期分类中的置信度累积问题:从ECE-C到时序依赖建模
大数据·人工智能
大海绵啤酒肚4 小时前
EL(F)K日志分析系统
运维·elasticsearch·云计算
蚁巡信息巡查系统4 小时前
政府网站与政务新媒体监测服务主要是做什么的?
大数据·人工智能
饼干吖4 小时前
hadoop安装
大数据·hadoop·教程
私域实战笔记7 小时前
选企业微信服务商哪家好?从工具适配与行业案例看选型逻辑
大数据·人工智能·企业微信
AI企微观察7 小时前
企业微信社群运营玩法有哪些?企业微信社群工具有哪些功能?——从拉新到留存的玩法设计与工具支撑
大数据·人工智能
金融小师妹9 小时前
OpenAI拟借AI估值重构浪潮冲击1.1万亿美元IPO——基于市场情绪因子与估值量化模型的深度分析
大数据·人工智能·深度学习·1024程序员节
wudl55669 小时前
Flink Keyed State 详解之二
大数据·flink
IT学长编程10 小时前
计算机毕业设计 基于Python的热门游戏推荐系统的设计与实现 Django 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
大数据·python·django·毕业设计·课程设计·毕业论文