ElasticSearch 的核心功能

要深入理解 ElasticSearch 的核心功能,需要全面掌握其 全文搜索分析聚合索引生命周期管理(ILM) 的设计原理和实际应用。


1. 全文搜索

ElasticSearch 的全文搜索是其核心功能之一,依赖于倒排索引和强大的分词、相关性评分机制。

(1) 倒排索引
  • 倒排索引是 ElasticSearch 的底层数据结构,记录每个词条(term)在哪些文档中出现。
  • 优化了基于关键词的搜索性能。
(2) 分词(Analysis)

ElasticSearch 提供灵活的分词机制,将文档字段分解为独立的词条。

  • 分词器(Analyzer):
    • 包括字符过滤器、分词器、和词条过滤器。
    • 示例:Text: "The quick brown fox"
      • 字符过滤器:去除 HTML 标签等。
      • 分词器:["The", "quick", "brown", "fox"]
      • 词条过滤器:去除停用词,如 ["quick", "brown", "fox"]
  • 常用分词器:standardsimplewhitespacengram
(3) 查询 DSL

ElasticSearch 提供强大的查询语言:

  • match 查询: 适用于全文检索,分词后匹配。

    json 复制代码
    {
      "query": {
        "match": {
          "content": "quick fox"
        }
      }
    }
  • term 查询: 精确匹配,不分词。

  • 布尔查询: 将多个子查询组合,使用 mustshouldfilter 等。

(4) 相关性评分

ElasticSearch 使用 BM25 算法计算文档与查询的相关性,基于以下因素:

  • 词频(TF): 词在文档中出现的次数。
  • 逆文档频率(IDF): 词的稀有程度。
  • 字段长度: 长字段对匹配的影响更小。

2. 分析(Analysis)

ElasticSearch 不仅支持全文搜索,还提供强大的数据分析功能,帮助用户从大规模数据中提取有价值的洞见。

(1) 聚合框架

聚合(Aggregation)是一种用于分组、计算和统计数据的机制。

  • 分类:

    • 桶(Bucket): 按条件对文档分组,如按日期、地理位置。
    • 度量(Metric): 统计数据的数值特征,如最大值、最小值、平均值。
    • 管道(Pipeline): 对其他聚合的结果进行二次处理。
  • 示例:计算每月销售额

    json 复制代码
    {
      "aggs": {
        "monthly_sales": {
          "date_histogram": {
            "field": "sale_date",
            "calendar_interval": "month"
          },
          "aggs": {
            "total_sales": {
              "sum": {
                "field": "amount"
              }
            }
          }
        }
      }
    }
(2) 实时和分布式处理
  • ElasticSearch 的分布式架构允许在多节点上并行执行聚合,显著提高性能。
(3) 向量搜索(Vector Search)

支持基于嵌入向量的相似性搜索,特别适用于推荐系统和自然语言处理(NLP)任务。


3. 聚合(Aggregation)

(1) 常见聚合类型
  1. 计数(Count):
    • 统计文档数量。
  2. 求和(Sum):
    • 计算字段值的总和。
  3. 平均值(Avg):
    • 计算字段值的平均值。
  4. 分布分析:
    • 按字段值分组,计算分布情况。
(2) 使用场景
  • 数据报表: 如按地域分布的用户量。
  • 性能监控: 按时间段计算指标变化。
  • 日志分析: 计算错误日志出现的频率。

4. 索引生命周期管理(ILM)

(1) 什么是 ILM?

索引生命周期管理(Index Lifecycle Management,ILM)用于自动管理索引的生命周期,降低存储和性能成本。

索引的生命周期通常分为以下阶段:

  • 热(Hot): 索引写入和搜索频繁。
  • 温(Warm): 索引只读,搜索频率降低。
  • 冷(Cold): 索引使用频率非常低。
  • 删除(Delete): 索引到达保留期限后被删除。
(2) ILM 策略

定义一个 ILM 策略包含以下部分:

  • 触发条件: 如索引大小、时间。
  • 动作(Action): 例如关闭索引、迁移分片、删除索引。

示例策略:

json 复制代码
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_size": "50gb",
            "max_age": "30d"
          }
        }
      },
      "warm": {
        "actions": {
          "shrink": {
            "number_of_shards": 1
          }
        }
      },
      "cold": {
        "actions": {
          "allocate": {
            "include": {
              "data": "cold"
            }
          }
        }
      },
      "delete": {
        "actions": {
          "delete": {}
        }
      }
    }
  }
}
(3) 使用场景
  • 日志管理: 定期归档和删除旧日志。
  • 成本优化: 热数据使用 SSD,冷数据使用 HDD。

总结

ElasticSearch 的核心功能以全文搜索为基础,同时提供灵活的数据分析能力(聚合)、优化的分布式架构以及对索引生命周期的精细管理。结合实际应用场景,ElasticSearch 可以处理从实时搜索到复杂分析的大量任务,在企业搜索引擎、日志管理、推荐系统等领域发挥关键作用。

相关推荐
weixin_307779131 分钟前
Hive集群之间迁移的Linux Shell脚本
大数据·linux·hive·bash·迁移学习
大只鹅18 分钟前
解决 Spring Boot 对 Elasticsearch 字段没有小驼峰映射的问题
spring boot·后端·elasticsearch
上海锝秉工控3 小时前
防爆拉线位移传感器:工业安全的“隐形守护者”
大数据·人工智能·安全
cv高级工程师YKY3 小时前
SRE - - PV、UV、VV、IP详解及区别
大数据·服务器·uv
庸子3 小时前
基于Jenkins和Kubernetes构建DevOps自动化运维管理平台
运维·kubernetes·jenkins
裁二尺秋风4 小时前
CI/CD — Pipeline的使用以及Blue Ocean多分支流水线的使用方法
ci/cd·gitlab·jenkins
bxlj_jcj4 小时前
深入Flink核心概念:解锁大数据流处理的奥秘
大数据·flink
云资源服务商4 小时前
阿里云Flink:开启大数据实时处理新时代
大数据·阿里云·云计算
Aurora_NeAr5 小时前
Spark SQL架构及高级用法
大数据·后端·spark
王小王-1235 小时前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现
大数据·hive·hadoop·分布式·hadoop公共自行车·共享单车大数据分析·hadoop共享单车