分布式搜索elasticsearch概念

什么是elasticsearch?

elasticsearch是一款非常强大的开源搜索引擎,可以帮助我们从海量数据中快速找到需要的内容

目录

elasticsearch的场景

elasticsearch的发展

Lucene篇

Elasticsearch篇

elasticsearch的安装


elasticsearch的场景

elasticsearch结合kibana、Logstash、Beats,也就是elastic stack (ELK)。被广泛应用在日志数据分析、实时监控等领域。

elasticsearch是elastic stack的核心,负责存储、搜索、分析数据

elasticsearch的发展

Lucene篇

Lucene是一个ava语言的搜索引擎类库,是Apache公司的顶级项目,由DougCutting于1999年研发。

官网地址: https://lucene.apache.org/

Lucene的优势:

  • 易扩展
  • 高性能(基于倒排索引)

Lucene的缺点:

  • 只限于Java语言开发
  • 学习曲线陡峭
  • 不支持水平扩展
Elasticsearch篇

2004年ShayBanon基于Lucene开发了Compass。

2010年shay Banon 重写了Compass,取名为Elasticsearch。

目前最新的版本是:7.12.1

官网地址: https://www.elastic.co/cn/

相比与lucene,elasticsearch具备下列优势:

  • 支持分布式,可水平扩展
  • 提供Restful接口,可被任何语言调用

正排索引 与 倒排索引(Elasticsearch)

传统数据库(如MySQL)采用正向索引,例如给下表(tb goods)中的id创建索引

搜索'title'字段,'手机' 的内容 👉 select *from tb_goods where title like %手机%

正排索引:当模糊查询某字段时会逐一检索所有记录,效率较低

elasticsearch采用倒排索引

  • 文档(document):每条数据就是一个文档(相对于Mysql,一个mysql表就是一个文档)
  • 词条(term):文档按照语义分成的词语(记录文档中的关键词)

例:搜索'华为手机'(根据索引查询效率增加)

什么是文档和词条?

  • 每一条数据就是一个文档
  • 对文档中的内容分词,得到的词语就是词条

什么是正向索引?

  • 基于文档id创建索引。查询词条时必须先找到文档,而后判断是否包
  • 含词条

什么是倒排索引?

  • 对文档内容分词,对词条创建索引,并记录词条所在文档的信息。查询时先根据词条查询到文档id,而后获取到文档
相关推荐
wkj00119 分钟前
navicate如何设置数据库引擎
数据库·mysql
ladymorgana19 分钟前
【Spring Boot】HikariCP 连接池 YAML 配置详解
spring boot·后端·mysql·连接池·hikaricp
CodeWithMe1 小时前
【Note】《Kafka: The Definitive Guide》 第8章: Cross-Cluster Data Mirroring
分布式·kafka
武子康2 小时前
大数据-34 HBase 单节点配置 hbase-env hbase-site xml
大数据·后端·hbase
Edingbrugh.南空2 小时前
Hadoop MapReduce 入门
大数据·hadoop·mapreduce
Alaia.2 小时前
【kafka 3.9.1】单机版集群部署并配置kafka的SASL认证
分布式·kafka
huisheng_qaq2 小时前
【ElasticSearch实用篇-01】需求分析和数据制造
大数据·elasticsearch·制造
G.E.N.3 小时前
开源!RAG竞技场(2):标准RAG算法
大数据·人工智能·深度学习·神经网络·算法·llm·rag
勤奋的知更鸟3 小时前
Kettle + 大数据实战:从数据采集到分布式处理的完整流程指南
大数据·分布式