ES 分布式搜索引擎【一】

文章目录

- [1. 基本概念](#1. 基本概念)
- [2. 倒排索引](#2. 倒排索引)
- [3. ES 和 MySQL](#3. ES 和 MySQL)
- [4. 安装 elasticsearch](#4. 安装 elasticsearch)
- - [4.1 创建网络](#4.1 创建网络)
  - [4.2 拉取镜像](#4.2 拉取镜像)
  - [4.3 部署 ES](#4.3 部署 ES)
  - [4.4 运行测试](#4.4 运行测试)
- [5. 安装 kibana](#5. 安装 kibana)
- - [5.1 拉取镜像](#5.1 拉取镜像)
  - [5.2 部署 kibana](#5.2 部署 kibana)
  - [5.3 运行测试](#5.3 运行测试)
- [6. 安装 IK 分词器](#6. 安装 IK 分词器)

1. 基本概念

elasticsearch 是一款非常强大的搜索引擎，可以帮助我们从海量数据中快速找到需要的内容。同时它还可以结合 kibana、Logstash 和 Beats，即 ELK，被广泛应用在日志数据分析、实时监控等领域。

elasticsearch 具备以下优势：

① 支持分布式，可水平扩展；
② 提供 Restful 接口，可被任何语言调用。

2. 倒排索引

传统数据库（MySQL）采用正向索引，如果想要把数据表里面所有的手机都搜索出来，我们的解决办法就是从头到尾一条一条地扫描，效率非常低。

ES 采用倒排索引，它会创建一个新的表出来，该表包含两个字段：词条和文档 id。

文档：每条数据都是一个文档；
词条：把文档按照语义分成的词语。

倒排索引在存储数据时，会首先把文档内容分成词条存储，词条字段不允许重复，文档 id 逐一跟在后面！

比如我们要搜索 "华为手机"，首先对用户输入的内容进行分词，得到 "华为" 和 "手机" 两个词条，接着根据这两个词条去倒排数据表里查询文档 id，得到 1、2、3 索引，最后拿着这些索引去正向数据表里查询数据即可，效率有效提升。

正向索引适合直接通过索引搜索，而倒排索引更适合基于文档内容进行搜索，先根据词条找到 id，再根据 id 找到文档！

ES 是面向文档存储的，可以是数据库中的一条商品数据，也可以是一条订单信息。文档数据会被序列化为 json 格式后存储到 ES 中。

索引：相同类型文档的集合，类似于数据表；
映射：索引中文档字段的约束信息，类似数据表的结构约束。

3. ES 和 MySQL

概念对比：

MySQL 擅长事务类型操作，可以确保数据的安全性和一致性，ES 更擅长海量数据的搜索、分析和计算！

一条请求过来，首先会交给服务器去判断，如果是写操作，就交给 MySQL 来完成，如果是读操作，就去 ES 里进行搜索，同时，MySQL 会将自己的数据同步给 ES！

4. 安装 elasticsearch

4.1 创建网络

bash 复制代码

docker network create es-net

4.2 拉取镜像

bash 复制代码

docker pull elasticsearch:7.12.1

4.3 部署 ES

bash 复制代码

docker run -d \
	--name es \
    -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
    -e "discovery.type=single-node" \
    -v es-data:/usr/share/elasticsearch/data \
    -v es-plugins:/usr/share/elasticsearch/plugins \
    --privileged \
    --network es-net \
    -p 9200:9200 \
    -p 9300:9300 \
elasticsearch:7.12.1

4.4 运行测试

访问 9200 端口，如果出现以下界面，代表部署成功。

要用自己虚拟机的 IP 地址访问，通过 ifconfig 命名可获取虚拟机的 IP 地址！

5. 安装 kibana

kibana 可以给我们提供一个 elasticsearch 的可视化界面，便于我们操作 ES。

kibana 和 elasticsearch 的版本必须保持一致，且必须在同一个网络中，才可以实现互联！

5.1 拉取镜像

bash 复制代码

docker pull kibana:7.12.1

5.2 部署 kibana

bash 复制代码

docker run -d \
	--name kibana \
	-e ELASTICSEARCH_HOSTS=http://es:9200 \
	--network=es-net \
	-p 5601:5601  \
kibana:7.12.1

5.3 运行测试

访问 5601 端口，如果出现以下界面，代表部署成功。

① 点击 Explore on my own，选择侧边栏的 DevTools

② 在此可以编写 DSL 语句，如下图是一个查询操作

左边编写 DSL，点击运行按钮，右边输出结果！

6. 安装 IK 分词器

ES 在创建倒排索引时需要对文档分词，在搜索时也需要对用户输入内容分词。但默认的分词规则对中文的处理并不友好。

我们在 kibana 的 DevTools 中测试一下：

java 复制代码

POST _analyze
{
  "analyzer": "standard", 
  "text": "栈老师不回家！"
}

POST 指定请求方式为新增，analyzer 可以指定一个分词器，text 指定要分词的数据内容！

可以看到默认的分词器是逐字分析的，处理中文字符，一般会使用 IK 分词器。

① 安装 IK 插件

bash 复制代码

# 进入容器内部
docker exec -it elasticsearch /bin/bash
# 在线下载并安装
./bin/elasticsearch-plugin  install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip
#退出
exit
#重启容器
docker restart elasticsearch

可以连线下载，也可以手动将本地的文件拖进去，放到 es-plugins 的 _data 包里就可以了。

记得重启 ES 容器！

② 测试一下

IK 分词器包含两种模式：ik_smart（最少切分，粒度粗）和 ik_max_word（最细切分，粒度细）。

ik_smart：

ik_max_word：

ik_max_word 分的比 ik_smart 更细，但占用内存空间也更大！