分布式搜索引擎-elasticsearch基础

分布式搜索引擎-elasticsearch基础

1、什么是elasticsearch?

  • elasticsearch是一款非常强大的开源搜索引擎,可以帮助我们从海量数据中快速找到需要的内容。

  • elasticsearch结合kibana、Logstash、Beats,也就是elastic stack(ELK)。被广泛应用在日志数据分析实时监控等领域。

  • elasticsearch是elastic stack的核心,负责存储、搜索、分析数据。

Lucene

Lucene 是一个Java语言的搜索引擎类库 ,是Apache公司的顶级项目,由DougCutting于1999年研发。官网地址:https://lucene.apache.org/

Lucene的优势:

  • 易扩展

  • 高性能(基于倒排索引)

Lucene的缺点:

  • 只限于Java语言开发

  • 学习曲线陡峭

  • 不支持水平扩展

elasticsearch

基于Lucene开发,也就是elasticsearch的底层实现

官网地址: https://www.elastic.co/cn/

相比与lucene,elasticsearch具备下列优势:

  • 支持分布式,可水平扩展

  • 提供Restful接口,可被任何语言调用

为什么学习elasticsearch?

搜索引擎技术排名:

  1. Elasticsearch:开源的分布式搜索引擎

  2. Splunk:商业项目

  3. Solr:Apache的开源搜索引擎

2、正向索引和倒排索引

传统数据库(如MySQL)采用正向索引,所以相对比之后给出的elasticsearch倒排索引。

正向索引图示:

倒排索引:

  • 文档(document)每条数据就是一个文档

  • 词条(term) :文档按照语义分成的词语

elasticsearch会新建一张表来记录根据语义划分的词条,然后检索词条,然后查询文档。

搜索流程:

3、文档document

  • elasticsearch是面向文档存储的,可以是数据库中的一条商品数据,一个订单信息。

  • 文档数据会被序列化为json格式后存储在elasticsearch中。

4、索引index

  • 索引(index):相同类型的文档的集合(相同结构,如字段)

如下图:

5、与Mysql对比

MySQL Elasticsearch 说明
Table Index 索引(index),就是文档的集合,类似数据库的表(table)
Row Document 文档(Document),就是一条条的数据,类似数据库中的行(Row),文档都是JSON格式
Column Field 字段(Field),就是JSON文档中的字段,类似数据库中的列(Column)
Schema Mapping Mapping(映射)是索引中文档的约束,例如字段类型约束。类似数据库的表结构(Schema)
SQL DSL DSL是elasticsearch提供的JSON风格的请求语句,用来操作elasticsearch,实现CRUD

6、技术架构

Mysql :擅长事务类型操作,可以确保数据的安全一致性

Elasticsearch :擅长海量数据的搜索分析计算

图解:

相关推荐
商业咨询信息4 小时前
中之网科技江苏有限公司:长三角制造企业短视频代运营服务深度测评
搜索引擎
小白酷爱学习12 小时前
鸿蒙OS的开发语言与工具链:如何驾驭全新开发生态!
分布式·华为·架构·harmonyos
Elasticsearch13 小时前
别再来一个 Log4Shell:深入解析 Log4j 2 反序列化允许列表绕过
elasticsearch
Elasticsearch13 小时前
从建议到修复的 4 个阶段:使用 Elastic Workflows 实现人在回路中的自动化
elasticsearch
鲨鱼辣钊15 小时前
FastAPI筑基_Day15_Alembic数据库迁移实战
数据库·elasticsearch·fastapi
Elasticsearch16 小时前
Agent 上岗做日志检测,日志赛道降本的叙事快讲不下去了
elasticsearch
BD_Marathon16 小时前
Hadoop组成
大数据·hadoop·分布式
Elastic 中国社区官方博客17 小时前
从告警到根因仅需 3 分钟:使用 Elastic Agent Builder 实现自动化根因分析
运维·数据库·人工智能·elasticsearch·自动化·可用性测试
Elastic 中国社区官方博客17 小时前
驯服 PUNKs:ES|QL 如何查询 Elasticsearch 从未被告知的字段
大数据·sql·elasticsearch·搜索引擎·全文检索
Elasticsearch18 小时前
了解你的事实:Elasticsearch AI Indices 让 agents 无需通读内容,就能保留答案
elasticsearch