ES基础概念

本文不介绍如何使用ES(使用ES见:)

1.ES生态圈

ES:

Logstash:数据处理服务程序,解析转换加工数据;

Kibana:数据展示、集群管理,数据可视化、ES管理与监控、报表等;

Beats:轻量级数据采集工具,支持多个数据源采集,占用系统资源少;

ES-Hadoop:连接器,通过 ES-Hadoop,可以充分利用 Hadoop 的大数据处理能力和 Elasticsearch 的快速搜索与分析能力,构建强大的数据处理和分析平台;

其他非官方框架:Flink(开源的实时数据流处理框架)、nifi(数据集成工具)、GrafanaLabs(提供开源的监控、日志管理和数据可视化工具,帮助用户在分布式系统和云原生环境中实现更好的可观测性和性能管理)、presto。。。

2.ES的作用

  • **全文搜索:**全文索引,支持多种语言分词、中文、英文、数字、特殊符号,应用在企业知识库、电商商品搜索、垂直领域搜索引擎;
  • **地图应用:**地图位置应用搜索,集成 Geohash算法,支持大规模的地理位置搜索,结合自身的分布式特性,可以满足海量数据Geo检索;
  • **向量检索:**相似图片、类似语音、问答系统、推荐系统,内置支持Dense Vector数据类型,与多种向量计算产品集成,支持多种向量应用场景;
  • **业务系统加速查询:**替代关系型数据库,关系型数据库查询性能瓶,分库分表合并查询、海量数据查询、复杂条件组合查询;
  • **大数据领域:**强大的数据处理能力,提供Hadoop对外的数据查询服务;自有大数据处理能力、聚合、转换、上卷、大规模明细查询;
  • **日志平台:**统一日志平台,采集所有日志、系统日志、程序日志、业务日志,存储所有类型日志,查询所有日志,分析所有日志;
  • **基础监控:**指标采集、时序数据,采集基础指标、基于时序数据存储、性能超过时序数据库;
  • **安全分析:**网络安全分析预测,机器学习算法模型训练,分析预测潜在网络安全风险;

3.ES的核心概念

  • **Cluster集群:**Elasticsearch天然是分布式,由一个或者多个节点实例组成

  • **Node节点:**服务程序运行实例

  • **Index索引:**数据存储逻辑空间

  • **Shard分片:**数据存储实际逻辑空间,单分片就是完整索引数据

  • **Replicate副本:**分片数据备份复制,高可用高性能

  • **Segment分段:**分片数据实际存储空间

  • **Docment文档:**一条完整数据,等同Mysql一行数据

  • **Term词项:**单个字段数据拆分成多个独立的词

4.ES的核心算法

  • **Inverted Index倒排索引:**根据内容找到内容所在位置
  • **Doc Value列式存储:**Elasticsearch数据排序/聚合统计(导致修改数据性能差)
  • **FST有限状态转换:**Finite State Transducers 前缀/后缀(模糊匹配)
  • **Skip List跳表:**文档定位跳跃
  • **BKD Tree多维空间树:**简单数值、范围数据(解决倒排不好范围查询的问题)
  • **RoaringBitmap压缩位图:**原始数值压缩、查询结果合并
  • **TF/IDF/BM25分值计算:**文本搜索排序分值计算
相关推荐
MQ_SOFTWARE5 小时前
文件权限标记机制在知识安全共享中的应用实践
大数据·网络
花下的晚风6 小时前
模拟flink处理无限数据流
大数据·flink
小悟空6 小时前
[AI 生成] Flink 面试题
大数据·面试·flink
livemetee6 小时前
Flink2.0学习笔记:Stream API 常用转换算子
大数据·学习·flink
AutoMQ8 小时前
技术干货|为什么越来越多企业放弃 Flink/Spark,用 AutoMQ 替代传统 ETL?
大数据
zxsz_com_cn9 小时前
智能化设备健康管理:中讯烛龙预测性维护系统引领行业变革
大数据·架构
Pigwantofly10 小时前
SpringAI入门及浅实践,实战 Spring‎ AI 调用大模型、提示词工程、对话记忆、Adv‎isor 的使用
java·大数据·人工智能·spring
拓端研究室10 小时前
专题:2025电商增长新势力洞察报告:区域裂变、平台垄断与银发平权|附260+报告PDF、原数据表汇总下载
大数据·人工智能
阿里云大数据AI技术11 小时前
[VLDB 2025]面向Flink集群巡检的交叉对比学习异常检测
大数据·人工智能·flink
青云交12 小时前
电科金仓 KingbaseES 深度解码:技术突破・行业实践・沙龙邀约 -- 融合数据库的变革之力
大数据·数据安全·数字化转型·kingbasees·企业级应用·融合数据库·多模存储