es 写入数据的工作原理是什么啊?es 查询数据的工作原理是什么啊?底层的 lucene 介绍一下呗?倒排索引了解吗?

Elasticsearch 写入数据的工作原理

1. 写入流程概述

当客户端向 Elasticsearch 发送写入请求时,会经历以下步骤:

  1. 客户端选择一个节点 作为 coordinating node(协调节点),发送请求。
  2. 协调节点对文档进行路由,根据文档 ID 计算哈希值,确定其应该存储在哪个 primary shard 上。
  3. Primary shard 处理请求,然后将数据同步到所有的 replica shard。
  4. 当 primary 和所有 replica 完成后,协调节点向客户端返回写入成功的响应。
2. 写入的底层机制
  1. 数据先写入内存 buffer,此时数据不可搜索。
  2. 同时写入 translog 日志文件,防止宕机时数据丢失。
  3. 定期执行 refresh (默认 1s),将 buffer 中的数据写入 segment 文件,并存储在 os cache 中,使其可搜索。
  4. 当 translog 过大或默认 30 分钟触发 flush,将数据真正持久化到磁盘上的 segment 文件,并清空 translog。
  5. Segment merge:ES 会定期合并小 segment,减少查询时的开销,但 merge 过程可能影响写入性能。

这就是为什么 Elasticsearch 是 Near Real-Time (NRT),因为数据写入后 1s 之内才能被搜索到。


Elasticsearch 查询数据的工作原理

1. 通过 doc_id 进行查询
  1. 客户端发送查询请求到任意节点(coordinating node)。
  2. 协调节点基于 doc_id 计算哈希,找到存储该文档的 shard。
  3. 随机选择 primary 或 replica shard 进行查询(采用 round-robin 负载均衡)。
  4. 查询结果返回给协调节点,然后再返回给客户端。
2. 全文检索过程(搜索 query)

全文检索是 Elasticsearch 的核心功能,比如搜索 java,ES 会返回所有包含 java 的文档。

  1. 客户端发送搜索请求到协调节点
  2. 协调节点将查询分发到所有 primary 或 replica shard
  3. Query Phase : 每个 shard 返回匹配的 doc_id 列表。
  4. Fetch Phase : 协调节点根据 doc_id 读取文档,合并、排序、分页,并返回最终结果。
3. 查询优化机制

为了提升查询效率,Elasticsearch 采用多种优化策略:

  • Query Cache:对于相同的查询,缓存结果,减少重复计算。
  • Shard Preference:优先查询特定的 shard,避免不必要的 IO 负担。
  • Index Sorting:在索引阶段提前排序,提高查询时的效率。

倒排索引:Elasticsearch 的核心

倒排索引是搜索引擎最重要的数据结构,它允许快速查询包含某个关键词的文档。

1. 倒排索引的基本原理

示例文档:

DocId 文档内容
1 谷歌地图之父跳槽 Facebook
2 谷歌地图之父加盟 Facebook
3 谷歌地图创始人拉斯加盟 Facebook

建立倒排索引:

关键词 文档 ID 列表
谷歌 1,2,3
地图 1,2,3
之父 1,2
加盟 2,3
Facebook 1,2,3

当用户搜索 Facebook,Elasticsearch 直接从索引中查找包含 Facebook 的文档 ID,返回搜索结果。

倒排索引的两个特点:

  1. 所有词项对应一个或多个文档 ID。
  2. 词项按照字典顺序存储,便于快速查找。
2. 倒排索引的优化

Elasticsearch 采用多种方法优化倒排索引,提高查询效率:

  • 跳表(Skip List):在索引中添加跳跃指针,减少查询时的遍历开销。
  • 布隆过滤器(Bloom Filter):快速判断某个 term 是否存在,减少不必要的磁盘 IO。
  • 前缀压缩:相同前缀的词合并存储,减少索引大小,提高查找效率。

总结

  • 写入数据时,Elasticsearch 先写入内存 buffer 和 translog,定期 refresh 让数据可搜索,commit 触发 flush 持久化数据,同时进行 segment merge。
  • 查询数据时 ,可通过 doc_id 查询或全文搜索,搜索采用倒排索引来提高性能,并使用 query cache、index sorting 等优化查询效率。
  • 倒排索引是 Elasticsearch 的核心数据结构,它将关键词映射到文档,支持高效的全文搜索,同时通过跳表、布隆过滤器、前缀压缩等方式优化性能。

理解这些原理后,你就不再把 Elasticsearch 当作黑盒,而是可以更深入地优化查询、调整参数,提升搜索性能!

相关推荐
Hello.Reader2 小时前
Go-Elasticsearch v9 安装与版本兼容性
elasticsearch·golang·jenkins
数据与人工智能律师2 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
mykyle5 小时前
Elasticsearch-ik分析器
大数据·elasticsearch·jenkins
weixin_lynhgworld6 小时前
淘宝扭蛋机小程序系统开发:重塑电商互动模式
大数据·小程序
RPA+AI十二工作室8 小时前
影刀RPA_Temu关键词取数_源码解读
大数据·自动化·源码·rpa·影刀
Sui_Network9 小时前
探索 Sui 上 BTCfi 的各类资产
大数据·人工智能·科技·游戏·区块链
大数据张老师10 小时前
用 AI 做数据分析:从“数字”里挖“规律”
大数据·人工智能
博闻录11 小时前
以 “有机” 重构增长:云集从电商平台到健康生活社区的跃迁
大数据·重构·生活
nbsaas-boot13 小时前
收银系统优惠功能架构:可扩展设计指南(含可扩展性思路与落地细节)
java·大数据·运维