Elasticsearch 官网阅读学习笔记01

什么是 Elasticsearch？

Elasticsearch 是位于 Elastic Stack 核心的分布式搜索和分析引擎。
Elasticsearch 可为所有类型的数据提供近乎实时的搜索和分析。无论您拥有的是结构化或非结构化文本、数值数据还是地理空间数据

Elasticsearch 使用可以做什么

在应用程序或网站中添加搜索框
存储和分析日志、指标和安全事件数据
使用 Elasticsearch 作为存储引擎，实现业务工作流程自动化
将 Elasticsearch 作为地理信息系统 (GIS) 来管理、整合和分析空间信息

数据：文件和索引

关键内容提取
- Elasticsearch 是一种分布式文档存储。Elasticsearch 存储的是序列化为 JSON 文档的复杂数据结构，而不是以列数据行的形式存储信息
- 文档存储后，会在 1 秒钟内编制索引并进行完全实时搜索Elasticsearch 使用一种称为倒排索引的数据结构，支持非常快速的全文检索
- 索引可以看作是文档的优化集合，而每个 文档又是字段的集合 ，即包含数据的键值对
- Elasticsearch 会为每个字段中的所有数据建立索引，每个索引字段都有一个专用的优化数据结构。
  - 文本字段存储在倒排索引中
  - 数字和地理字段存储在 BKD 树中
- 启用动态映射后，Elasticsearch 会自动检测新字段并将其添加到索引中
- 定义映射可以作什么
  - 区分全文字符串字段和精确值字符串字段
  - 进行特定语言的文本分析
  - 优化字段以进行部分匹配
  - 使用自定义日期格式
  - 使用 geo_point^(用于存储单个地理坐标点（经纬度），例如：一个商店的位置、用户的实时坐标等。适合场景：快速查询"附近的地点"、计算两点距离、聚合地理位置数据。)^ 和 geo_shape ^(用于存储复杂的地理形状（如多边形、线、圆形等），例如：国家边界、配送区域、地理围栏。适合场景：判断地理空间关系（如"某个点是否在某个区域内"或"两个区域是否相交"）。)^等无法自动检测的数据类型
总结:
- 文档存储架构
  - 分布式文档存储，数据以序列化JSON文档形式存储
  - 支持跨节点分布式存储，数据可被集群内任意节点实时访问
  - 近实时搜索（1秒内完成索引）
- 倒排索引机制
  - 核心数据结构支持快速全文搜索
  - 通过记录单词与文档的映射关系实现快速检索
  - 所有字段默认被索引，不同字段类型使用不同数据结构：
    - 文本字段 → 倒排索引
    - 数值/地理位置 → BKD树
- 动态映射（Schema-less）
  - 自动检测字段类型（布尔值、数值、日期、字符串等）
  - 自动添加新字段到索引
  - 适合快速探索数据的场景
- 自定义映射控制
  - 可覆盖自动映射规则，实现更精确控制：
    - 区分全文检索(text)与精确值(keyword)字段
    - 执行语言特定的文本分析
    - 优化部分匹配
    - 自定义日期格式
    - 支持特殊类型（geo_point/geo_shape）
- 字段多用途索引
  - 持同一字段不同索引方式：
    - 文本字段同时用于全文搜索和排序/聚合
    - 多语言分析器处理混合语言内容
  - 索引和分析链在查询时保持一致
- 搜索优化特性
  - 查询文本会经过与索引时相同的分析处理
  - 字段级数据结构优化查询性能
  - 支持复杂数据类型的地理空间查询

信息输出：搜索和分析

基于 Apache Lucene 搜索引擎库的全套搜索功能。
Elasticsearch 提供了一个简单、连贯的 REST API，用于管理集群以及索引和搜索数据
- 简短说明 REST请求 RESTful 风格
  - 资源导向 : 所有数据/服务抽象为资源，通过URI唯一标识示例：/users/123 表示ID为123的用户资源
  - HTTP方法映射操作
    - 通过标准HTTP方法实现CRUD：
      - GET → 获取资源
      - POST → 创建资源
      - PUT → 更新资源
      - DELETE → 删除资源
- 说明应用程序可以通过简单网络请求获取到数据
- Elasticsearch 客户端：Java 、JavaScript、Go、.NET、PHP、Perl、Python 或 Ruby
数据搜索
- Elasticsearch REST API 支持结构化查询、全文本查询以及将二者结合起来的复杂查询
  - 结构化查询类似于在 SQL 中构建的查询类型。例如，您可以搜索 employee 索引中的 gender 和 age 字段，并根据 hire_date 字段对匹配结果进行排序
  - 全文查询可查找与查询字符串匹配的所有文档，并按相关性（即与搜索条件的匹配程度）排序返回。
- 支持支持高性能地理和数值查询。
- 查询方式
  - Elasticsearch 的综合 JSON 风格查询语言（ 查询 DSL ）访问所有这些搜索功能
  - 内部构建 SQL 风格 的查询
  - JDBC 和 ODBC 驱动程序可让大量第三方应用程序通过 SQL 与 Elasticsearch 进行交互。
分析数据
- 概述 : Elasticsearch 聚合使您能够建立复杂的数据摘要，并深入了解关键指标、模式和趋势
总结:
1. 核心搜索能力
- 支持结构化查询（类SQL）与全文搜索（基于相关性排序）
- 提供短语搜索、模糊匹配、前缀搜索及自动补全功能
- 专为地理空间/数值数据优化，支持高性能地理查询
- 提供Query DSL（JSON风格）和SQL双查询模式
- 支持JDBC/ODBC驱动实现第三方工具集成
1. 实时数据分析
- 聚合分析功能可生成多维数据洞察：
  ▪ 统计聚合（数量/平均值/中位数）
  ▪ 时间趋势分析（如按月统计）
  ▪ 制造商分布等商业洞察
- 搜索与聚合在单请求中同步执行
- 分析结果实时更新，支持动态数据可视化

可扩展性和弹性：集群、节点和碎片

核心概念

Cluster（集群）
- 分布式架构，支持横向扩展和高可用性。
- 自动分配数据和查询负载到所有节点。
- 节点增减时自动重平衡分片（Shard）分布。
Node（节点）
- 集群中的单个服务器，可动态加入或移除。
- 节点越多，集群容量和查询能力越强（冗余性提升）。
Shard（分片）
- 逻辑索引（Index）由多个物理分片组成。
- 分片分为两类：
  - Primary Shard（主分片） ：存储文档的唯一副本，数量在索引创建时固定。
  - Replica Shard（副本分片） ：主分片的冗余副本，提供数据保护和读请求负载均衡，数量可动态调整。
- 分片分布在多个节点上，实现冗余和性能优化。

2. 分片设计原则

分片大小
- 推荐范围：几GB到几十GB（时间序列数据建议20-40GB）。
- 过大问题：集群重平衡时迁移时间变长。
- 过小问题：维护开销高（如大量小分片导致查询性能下降）。
分片数量
- 主分片数：索引创建时确定，不可修改。
- 副本分片数：可随时调整，不影响读写操作。
- 分片与堆内存关系：每GB堆内存建议不超过20个分片（避免"海量分片"问题）。
- 测试验证：需根据实际数据和查询场景测试最佳配置。

3. 高可用与容灾

跨集群复制（CCR, Cross-Cluster Replication）
- 作用：主集群（Active Leader）到备用集群（Passive Follower）的热备份，支持故障转移和地理邻近读请求。
- 模式：
  - 主集群处理写请求，副本集群只读。
  - 主集群故障时，副本集群可接管。

4. 运维与管理

节点部署
- 节点间需高可靠、低延迟连接（建议同数据中心或邻近数据中心）。
- 避免单点故障（多区域部署需结合CCR）。
工具与功能
- Kibana：集群管理控制中心，集成安全、监控、管理功能。
- 索引生命周期管理：自动管理数据（如滚动更新、归档）。
- 数据汇总（Rollups） ：优化历史数据存储与查询效率。

‍