Elasticsearch学习笔记(1)

初识 Elasticsearch

认识和安装

Elasticsearch 是由 Elastic 公司开发的一套强大的搜索引擎技术,属于 Elastic 技术栈的一部分。完整的技术栈包括:

  • Elasticsearch:用于数据存储、计算和搜索。
  • Logstash/Beats:用于数据收集。
  • Kibana:用于数据可视化。

这套技术栈通常被称为 elastic stack (ELK),广泛应用于日志收集、系统监控和状态分析等场景。

而elasticsearch是elastic stack的核心,负责存储、搜索、分析数据。

核心组件

Elasticsearch 是整个技术栈的核心,提供了强大的数据存储、搜索和分析功能。

Kibana 是一个用于操作 Elasticsearch 的可视化控制台,它通过 RESTful API 与 Elasticsearch 进行交互,让用户能够更直观地管理和分析数据。Kibana 的主要功能包括:

  • 数据搜索与展示:支持对 Elasticsearch 数据的灵活搜索和展示。
  • 统计与聚合:能够对数据进行统计分析,并生成图表和报表。
  • 集群状态监控:提供对 Elasticsearch 集群健康状态的监控。
  • 开发控制台(DevTools):提供语法提示,帮助用户更方便地使用 Elasticsearch 的 RESTful API。

安装elasticsearch

通过下面的Docker命令(Windows 命令提示符)即可安装单机版本的elasticsearch:

XML 复制代码
docker run -d ^
  --name es ^
  -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" ^
  -e "discovery.type=single-node" ^
  -v es-data:/usr/share/elasticsearch/data ^
  -v es-plugins:/usr/share/elasticsearch/plugins ^
  --privileged ^
  --network hm-net ^
  -p 9200:9200 ^
  -p 9300:9300 ^
  elasticsearch:7.12.1

安装完成后,访问9200端口,即可看到响应的Elasticsearch服务的基本信息:

安装Kibana

通过下面的Docker命令(Windows 命令提示符),即可部署Kibana:

XML 复制代码
docker run -d ^
  --name kibana ^
  -e ELASTICSEARCH_HOSTS=http://es:9200 ^
  --network=hm-net ^
  -p 5601:5601 ^
  kibana:7.12.1

安装完成后,直接访问5601端口,即可看到控制台页面:

选择Explore on my own之后,进入主页面:

然后选中Dev tools,进入开发工具页面:

倒排索引

Elasticsearch 之所以能够提供高性能的搜索功能,主要归功于其底层的倒排索引技术。倒排索引是一种特殊的数据结构,它能够极大地提高文本搜索的效率。

正向索引

在传统的数据库系统中,如 MySQL,通常使用的是正向索引。正向索引是基于记录的 ID 或其他字段创建的索引。例如,给定一个商品表 tb_goods,如果为 id 字段创建索引,那么根据 id 查询时,可以直接通过索引快速定位到记录。

然而,如果需要根据 title 字段进行模糊查询,传统的正向索引就无法高效地处理。在这种情况下,数据库系统通常需要进行全表扫描,逐行检查 title 字段是否包含用户搜索的关键词。这种逐行扫描的方式在大数据量的情况下效率非常低下。

倒排索引

倒排索引是对正向索引的一种特殊处理,它将文档中的每个词条与包含该词条的文档进行关联。倒排索引中有两个核心概念:

  • 文档(Document):用于搜索的数据单元,例如一个网页、一个商品信息等。
  • 词条(Term):对文档数据或用户搜索数据进行分词后得到的具有含义的词语。例如,"我是中国人" 可以被分词为 "我"、"是"、"中国人"、"中国"、"国人" 等词条。

创建倒排索引的流程如下:

  1. 分词:将每个文档的数据进行分词,得到一个个词条。
  2. 创建索引表:创建一个表,每行数据包括词条、词条所在的文档 ID、词条在文档中的位置等信息。
  3. 索引优化:由于词条具有唯一性,可以为词条创建索引,例如使用哈希表结构索引。

倒排索引的搜索流程如下(以搜索 "华为手机" 为例):

  1. 分词:用户输入 "华为手机",对其进行分词,得到词条 "华为" 和 "手机"。
  2. 查找词条:拿着词条在倒排索引中查找,得到包含这些词条的文档 ID。
  3. 获取文档:根据文档 ID 在正向索引中查找具体的文档。

通过倒排索引,搜索过程可以避免全表扫描,因为词条和文档 ID 都建立了索引,查询速度非常快。

正向索引与倒排索引的对比

正向索引:

优点:

  • 可以为多个字段创建索引。
  • 根据索引字段进行搜索和排序时速度非常快。

缺点:

  • 根据非索引字段或索引字段中的部分词条查找时,只能进行全表扫描。

倒排索引:

优点:

  • 根据词条进行搜索和模糊搜索时速度非常快。

缺点:

  • 只能为词条创建索引,而不是字段。
  • 无法根据字段进行排序。

总结来说,正向索引适用于精确查询和排序,而倒排索引则适用于全文搜索和模糊查询。Elasticsearch 通过结合这两种索引技术,提供了高效的全文搜索能力。

基础概念

Elasticsearch 中有许多独特的概念,与传统的关系型数据库(如 MySQL)有所不同,但也有相似之处。理解这些概念对于掌握 Elasticsearch 的使用至关重要。

文档和字段

Elasticsearch 是面向文档(Document)存储的,文档可以是数据库中的一条商品数据、一个订单信息等。文档数据会被序列化为 JSON 格式后存储在 Elasticsearch 中。

每个 JSON 文档中包含多个字段(Field),类似于数据库中的列。字段是文档的基本组成部分,每个字段都有其数据类型和值。

索引和映射

索引(Index)是相同类型的文档的集合。例如:

  • 所有用户文档可以组织在一起,称为用户的索引。
  • 所有商品的文档可以组织在一起,称为商品的索引。
  • 所有订单的文档可以组织在一起,称为订单的索引。

索引类似于数据库中的表。数据库的表会有约束信息,用来定义表的结构、字段的名称、类型等信息。因此,索引库中就有映射(Mapping),是索引中文档的字段约束信息,类似表的结构约束。

MySQL 与 Elasticsearch 的对比

以下是 MySQL 与 Elasticsearch 中一些关键概念的对比:

MySQL Elasticsearch 说明
Table Index 索引(Index)是文档的集合,类似数据库的表(Table)
Row Document 文档(Document)是一条条的数据,类似数据库中的行(Row),文档都是 JSON 格式
Column Field 字段(Field)是 JSON 文档中的字段,类似数据库中的列(Column)
Schema Mapping Mapping(映射)是索引中文档的约束,例如字段类型约束。类似数据库的表结构(Schema)
SQL DSL DSL 是 Elasticsearch 提供的 JSON 风格的请求语句,用来操作 Elasticsearch,实现 CRUD
是否可以完全替代 MySQL?

虽然 Elasticsearch 在搜索和分析方面表现出色,但它并不能完全替代 MySQL。两者各有擅长之处:

  • MySQL:擅长事务类型操作,可以确保数据的安全和一致性。

  • Elasticsearch:擅长海量数据的搜索、分析、计算。

在企业中,通常会结合使用两者:

  • 对安全性要求较高的写操作,使用 MySQL 实现。

  • 对查询性能要求较高的搜索需求,使用 Elasticsearch 实现。

  • 两者再基于某种方式,实现数据的同步,保证一致性。

IK 分词器

Elasticsearch 的关键在于倒排索引,而倒排索引依赖于对文档内容的分词。分词是将文本数据分解为有意义的词条(Term)的过程。对于中文文本,由于中文没有像英文那样的自然分隔符(如空格),因此需要专门的中文分词算法。IK 分词器(IK Analyzer)就是这样一个高效、精准的中文分词工具。

安装 IK 分词器插件

IK 分词器是一个开源的中文分词插件,适用于 Elasticsearch。安装 IK 分词器可以显著提高中文文本的分词效果。以下是在 Windows 系统上安装 IK 分词器(IK Analyzer)的步骤:

方案一:在线安装

进入 Elasticsearch 容器

运行以下命令进入正在运行的 Elasticsearch 容器:

XML 复制代码
docker exec -it es /bin/bash

安装 IK 分词器插件:

在容器内部运行以下命令来安装 IK 分词器插件:

XML 复制代码
bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip

请注意,你需要将 7.12.1 替换为你正在使用的 Elasticsearch 版本号。

退出容器

安装完成后,退出容器:

XML 复制代码
exit

重启 Elasticsearch 容器

安装完成后,你需要重启 Elasticsearch 容器以使插件生效:

bash 复制代码
docker restart es
方案二:离线安装

下载 IK 分词器插件:

GitHub 页面下载 IK 分词器插件的压缩文件。

将插件文件上传到容器:

将下载的压缩文件上传到 Elasticsearch 容器的 /usr/share/elasticsearch/plugins 目录下。你可以使用 docker cp 命令来完成这个操作:

bash 复制代码
docker cp /path/to/elasticsearch-analysis-ik-7.12.1.zip es:/usr/share/elasticsearch/plugins/

进入 Elasticsearch 容器

运行以下命令进入正在运行的 Elasticsearch 容器:

XML 复制代码
docker exec -it es /bin/bash

解压插件文件

在容器内部解压插件文件:

XML 复制代码
cd /usr/share/elasticsearch/plugins
unzip elasticsearch-analysis-ik-7.12.1.zip
rm elasticsearch-analysis-ik-7.12.1.zip

退出容器

解压完成后,退出容器:

XML 复制代码
exit

重启 Elasticsearch 容器

安装完成后,你需要重启 Elasticsearch 容器以使插件生效:

XML 复制代码
docker restart es
IK分词器包含三种模式
  • standard:标准分词器
  • ik_smart:智能语义切分
  • ik_max_word:最细粒度切分

首先,测试 Elasticsearch 官方提供的标准分词器:

XML 复制代码
POST /_analyze
{
  "analyzer": "standard",
  "text": "我是中国人"
}

执行结果如下:

XML 复制代码
{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "<IDEOGRAPHIC>",
      "position" : 0
    },
    {
      "token" : "是",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "<IDEOGRAPHIC>",
      "position" : 1
    },
    {
      "token" : "中",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "<IDEOGRAPHIC>",
      "position" : 2
    },
    {
      "token" : "国",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "<IDEOGRAPHIC>",
      "position" : 3
    },
    {
      "token" : "人",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "<IDEOGRAPHIC>",
      "position" : 4
    }
  ]
}

可以看到,标准分词器只能 1 字 1 词条,无法正确对中文做分词。

接下来,测试 IK 分词器的 ik_smart 模式:

XML 复制代码
POST /_analyze
{
  "analyzer": "ik_smart",
  "text": "我是中国人"
}

执行结果如下:

XML 复制代码
{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "是",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "中国人",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 2
    }
  ]
}

最后,测试 IK 分词器的 ik_max_word 模式:

XML 复制代码
POST /_analyze
{
  "analyzer": "ik_max_word",
  "text": "我是中国人"
}

执行结果如下:

XML 复制代码
{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "是",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "中国人",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "中国",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "国人",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 4
    }
  ]
}

IK 分词器的 ik_smart 模式适用于大多数场景,能够根据上下文进行智能分词;而 ik_max_word 模式则尽可能多地切分出词条,适用于需要更细粒度分词的场景。

拓展词典

进入容器后

XML 复制代码
cd /usr/share/elasticsearch/config/analysis-ik
ls

查看文件内容:

XML 复制代码
cat extra_main.dic

总结

分词器的作用是什么?

分词器在搜索引擎中有两个主要作用:

  • 创建倒排索引时,对文档分词:在索引阶段,分词器将文档内容分解成一个个的词条(tokens),并将这些词条与文档关联起来,形成倒排索引。倒排索引是搜索引擎的核心数据结构,用于快速查找包含特定词条的文档。
  • 用户搜索时,对输入的内容分词:在搜索阶段,分词器将用户输入的查询内容分解成一个个的词条,然后搜索引擎根据这些词条在倒排索引中查找匹配的文档。

IK 分词器有几种模式?

IK 分词器提供了两种分词模式:

  • ik_smart:智能切分,粗粒度:ik_smart 模式会进行智能切分,通常会生成较少的词条,适用于需要较粗粒度分词的场景。
  • ik_max_word:最细切分,细粒度:ik_max_word 模式会进行最细粒度的切分,尽可能生成更多的词条,适用于需要细粒度分词的场景。

IK 分词器如何拓展词条?如何停用词条?

IK 分词器可以通过配置文件 IKAnalyzer.cfg.xml 来拓展词条和停用词条。

拓展词条:

  • 在 IKAnalyzer.cfg.xml 文件中,通过 <entry key="ext_dict"> 标签指定拓展词典文件的路径。
  • 在拓展词典文件中添加你想要拓展的词条。

停用词条:

  • 在 IKAnalyzer.cfg.xml 文件中,通过 <entry key="ext_stopwords"> 标签指定停用词典文件的路径。
  • 在停用词典文件中添加你想要停用的词条。

示例配置

IKAnalyzer.cfg.xml 示例

XML 复制代码
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 扩展配置</comment>
    <!-- 用户可以在这里配置自己的扩展字典 -->
    <entry key="ext_dict">mydict.dic</entry>
    <!-- 用户可以在这里配置自己的扩展停止词字典 -->
    <entry key="ext_stopwords">stopword.dic</entry>
</properties>

自定义词典文件 mydict.dic 示例

XML 复制代码
自定义词汇1
自定义词汇2

停用词典文件 stopword.dic 示例

XML 复制代码
的
是
在
相关推荐
cuisidong19977 分钟前
5G学习笔记三之物理层、数据链路层、RRC层协议
笔记·学习·5g
乌恩大侠8 分钟前
5G周边知识笔记
笔记·5g
南宫理的日知录14 分钟前
99、Python并发编程:多线程的问题、临界资源以及同步机制
开发语言·python·学习·编程学习
筱源源33 分钟前
Elasticsearch-linux环境部署
linux·elasticsearch
数据与后端架构提升之路1 小时前
从神经元到神经网络:深度学习的进化之旅
人工智能·神经网络·学习
一行11 小时前
电脑蓝屏debug学习
学习·电脑
咔叽布吉1 小时前
【论文阅读笔记】CamoFormer: Masked Separable Attention for Camouflaged Object Detection
论文阅读·笔记·目标检测
johnny2331 小时前
《大模型应用开发极简入门》笔记
笔记·chatgpt
亦枫Leonlew1 小时前
微积分复习笔记 Calculus Volume 1 - 4.7 Applied Optimization Problems
笔记·数学·微积分·1024程序员节
小肥象不是小飞象1 小时前
(六千字心得笔记)零基础C语言入门第八课——函数(上)
c语言·开发语言·笔记·1024程序员节