1，多节点，分布式架构：分片，副本（可承担读压力）
2，倒排索引：分词
3，近实时搜索：1s刷新索引（表），写入后1s可查。数据从内存中刷新到磁盘
4，缓存：尤其对于重复查询
5，**高效的搜索算法，**Elasticsearch 将查询请求分发到多个分片，并行执行搜索操作，提高查询速度
6，高效的写入机制：批量+异步刷新
详细如下
Elasticsearch（ES） 之所以快，是因为它在设计上采用了多种优化策略和技术，使其能够高效地处理大规模数据的存储和搜索。以下是 Elasticsearch 速度快的主要原因：
1. 分布式架构
1.1 分片（Sharding）
-
Elasticsearch 将数据分成多个分片（Shard），每个分片是一个独立的 Lucene 索引。
-
分片可以分布在不同的节点上，实现数据的分布式存储和并行处理。
1.2 副本（Replication）
-
每个分片可以有多个副本，副本分片提供数据冗余和高可用性。
-
副本分片可以分担读请求，提高查询性能。
1.3 负载均衡
- Elasticsearch 自动将请求路由到合适的节点，充分利用集群资源。
2. 倒排索引
2.1 倒排索引结构
-
Elasticsearch 使用 倒排索引（Inverted Index） 来加速全文搜索。
-
倒排索引将文档中的每个词映射到包含该词的文档列表，使得搜索时可以快速定位相关文档。
2.2 高效查询
-
倒排索引支持高效的布尔查询、短语查询和模糊查询。
-
通过压缩和优化索引结构，减少内存占用和磁盘 I/O。
3. 近实时搜索
3.1 刷新机制
-
Elasticsearch 默认每隔 1 秒刷新一次索引（Refresh Interval），使新写入的数据可搜索。
-
刷新操作将内存中的段（Segment）写入磁盘，但不会立即执行
fsync，保证近实时搜索的性能。
3.2 段合并
-
Elasticsearch 定期合并小的段（Segment）为大的段，减少段数量，提高查询性能。
-
合并过程中会删除已删除的文档，优化索引结构。
4. 缓存机制
4.1 查询缓存
- Elasticsearch 缓存频繁使用的查询结果，减少重复查询的开销。
4.2 字段数据缓存
- Elasticsearch 缓存字段数据（如聚合字段），加速聚合操作。
4.3 请求缓存
- Elasticsearch 缓存整个搜索请求的结果，适用于相同的重复请求。
5. 高效的搜索算法
5.1 BM25 算法
- Elasticsearch 使用 BM25 算法计算文档的相关性得分，比传统的 TF-IDF 算法更准确和高效。
5.2 过滤器缓存
- Elasticsearch 缓存过滤器的结果，加速布尔查询和范围查询。
5.3 并行搜索
- Elasticsearch 将查询请求分发到多个分片，并行执行搜索操作，提高查询速度。
6. 高效的写入机制
6.1 批量写入
- Elasticsearch 支持批量写入（Bulk API），减少网络开销和磁盘 I/O。
6.2 异步刷新
- Elasticsearch 使用异步刷新机制，减少写入操作的延迟。
6.3 段写入优化
- Elasticsearch 将新写入的数据存储在内存中的段（Segment），定期刷新到磁盘，减少磁盘 I/O。
7. 硬件和配置优化
7.1 内存分配
- 合理分配 JVM 堆内存，避免频繁的垃圾回收（GC）。
7.2 SSD 存储
- 使用 SSD 存储，提高磁盘 I/O 性能。
7.3 集群配置
- 合理配置分片和副本数量，避免分片过多或过少。
8. 总结
Elasticsearch 之所以快，是因为它采用了以下优化策略和技术：
-
分布式架构：通过分片和副本实现数据的分布式存储和并行处理。
-
倒排索引：高效的索引结构加速全文搜索。
-
近实时搜索：通过刷新和段合并机制，保证数据的近实时可搜索性。
-
缓存机制：通过查询缓存、字段数据缓存和请求缓存，减少重复计算的开销。
-
高效的搜索算法：使用 BM25 算法和过滤器缓存，提高查询性能。
-
高效的写入机制：通过批量写入和异步刷新，优化写入性能。
-
硬件和配置优化：合理分配内存和使用 SSD 存储，提高系统性能。
通过以上优化，Elasticsearch 能够高效地处理大规模数据的存储和搜索，满足高性能、高可用的需求。