ElasticSearch入门详解

好吃的肘子2025-05-12 14:57

1.ElasticSearch

1.1 ElasticSearch(简称es)

Elasticsearch是用Java开发并且是当前最流行的开源的企业级搜索引擎。

能够达到实时搜索，稳定，可靠，快速，安装使用方便。

客户端支持Java、.NET（C#）、PHP、Python、Ruby等多种语言。

官方网站: https://www.elastic.co/

下载地址：https://www.elastic.co/cn/start

1.2 ElasticSearch与Lucene的关系

Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库（框

架）

但是想要使用Lucene，必须使用Java来作为开发语言并将其直接集成到你的应用

中，并且Lucene的配置及使用非常复杂，你需要深入了解检索的相关知识来理解它

是如何工作的。

Lucene缺点：

1）只能在Java项目中使用,并且要以jar包的方式直接集成项目中.

2）使用非常复杂-创建索引和搜索索引代码繁杂

3）不支持集群环境-索引数据不同步（不支持大型项目）

4）索引数据如果太多就不行，索引库和应用所在同一个服务器,共同占用硬

盘.共用空间少.

上述Lucene框架中的缺点,ES全部都能解决

1.3 哪些公司在使用Elasticsearch

  1. 京东

  2. 携程

  3. 去哪儿

  4. 58同城

  5. 滴滴

  6. 今日头条

  7. 小米

  8. 哔哩哔哩

  9. 等等

1.4 ES vs 关系型数据库

2.Lucene全文检索框架

2.1 什么是全文检索

全文检索是指：

  • 通过一个程序扫描文本中的每一个单词，针对单词建立索引，并保存该单

词在文本中的位置、以及出现的次数

  • 用户查询时，通过之前建立好的索引来查询，将索引中单词对应的文本位

置、出现的次数返回给用户，因为有了具体文本的位置，所以就可以将具体内

容读取出来了

3.Elasticsearch中的核心概念

3.1 索引 index

一个索引就是一个拥有几分相似特征的文档的集合。比如说，可以有一个客户数据 的索引，另一个产品目录的索引，还有一个订单数据的索引 一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这 个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字

3.2 映射 mapping

ElasticSearch中的映射（Mapping）用来定义一个文档 mapping是处理数据的方式和规则方面做一些限制，如某个字段的数据类型、默认 值、分词器、是否被索引等等，这些都是映射里面可以设置的

3.3 字段Field

相当于是数据表的字段|列

3.4 字段类型 Type

每一个字段都应该有一个对应的类型，例如：Text、Keyword、Byte等

3.5 文档 document

一个文档是一个可被索引的基础信息单元，类似一条记录。文档以JSON（Javascript Object Notation）格式来表示；

3.6 集群 cluster

一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提 供索引和搜索功能

3.7 节点 node

一个节点是集群中的一个服务器，作为集群的一部分，它存储数据，参与集群的索 引和搜索功能 一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每 个节点都会被安排加入到一个叫做"elasticsearch"的集群中 这意味着，如果在网络中启动了若干个节点，并假定它们能够相互发现彼此，它们 将会自动地形成并加入到一个叫做"elasticsearch"的集群中 在一个集群里，可以拥有任意多个节点。而且，如果当前网络中没有运行任何 Elasticsearch节点，这时启动一个节点，会默认创建并加入一个叫 做"elasticsearch"的集群。

3.8 分片和副本 shards&replicas

3.8.1 分片

  • 一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10

    亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或

    者单个节点处理搜索请求，响应太慢

  • 为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，这些

    份就叫做分片

  • 当创建一个索引的时候，可以指定你想要的分片的数量

  • 每个分片本身也是一个功能完善并且独立的"索引"，这个"索引"可以

    被放置到集群中的任何节点上

  • 分片很重要，主要有两方面的原因

    允许水平分割/扩展你的内容容量

    允许在分片之上进行分布式的、并行的操作，进而提高性能/吞吐量

  • 至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由

    Elasticsearch管理的，对于作为用户来说，这些都是透明的

3.8.2 副本

  • 在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎

    么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转

    移机制是非常有用并且是强烈推荐的。为此目的，Elasticsearch允许你创建分

    片的一份或多份拷贝，这些拷贝叫做副本分片，或者直接叫副本

  • 副本之所以重要，有两个主要原因

  1. 在分片/节点失败的情况下，提供了高可用性。注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的

  2. 扩展搜索量/吞吐量，因为搜索可以在所有的副本上并行运行每个索引可以被分成多个分片。一个索引有0个或多个副本一旦设置了副本，每个索引就有了主分片和副本分片，分片和副本的数量可以在索引创建的时候指定，索引创建之后，可以在任何时候动态地改变副本的数量，但是不能改变分片的数量

4.安装Elasticsearch

4.1 安装Elasticsearch

4.1.1 创建普通用户

**ES不能使用root用户来启动，必须使用普通用户来安装启动。**这里我们创建一个普通用户以及定义一些常规目录用于存放我们的数据文件以及安装包等。创建一个es专门的用户（必须）

使用root用户在服务器执行以下命令

bash 复制代码 
先创建组, 再创建用户:
1）创建 elasticsearch 用户组
[root@localhost ~]# groupadd elasticsearch
		
2）创建用户 tlbaiqi 并设置密码
[root@localhost ~]# useradd aaa
[root@localhost ~]# passwd aaa

3）# 创建es文件夹，
并修改owner为aaa用户
mkdir -p /usr/local/es

4）用户es 添加到 elasticsearch 用户组
[root@localhost ~]# usermod -G elasticsearch tlbaiqi
[root@localhost ~]# chown -R aaa /usr/local/es/elasticsearch-7.6.1

5）设置sudo权限
#为了让普通用户有更大的操作权限，我们一般都会给普通用户设置sudo权限，方便普通用户的操作
#三台机器使用root用户执行visudo命令然后为es用户添加权限
[root@localhost ~]# visudo

#在root ALL=(ALL) ALL 一行下面
#添加tlbaiqi用户 如下:
aaa ALL=(ALL) ALL
			 
#添加成功保存后切换到aaa用户操作

[root@localhost ~]# su aaa
[aaa@localhost root]$

# 解压Elasticsearch
su tlbaiqi
cd /user/local/
tar -zvxf elasticsearch-7.6.1-linux-x86_64.tar.gz -C /usr/local/es/
#进入服务器使用baiqi用户来修改配置文件
 cd /usr/local/es/elasticsearch-7.6.1/config
mkdir -p /usr/local/es/elasticsearch-7.6.1/log
mkdir -p /usr/local/es/elasticsearch-7.6.1/data
rm -rf elasticsearch.yml

vim elasticsearch.yml
cluster.name: aaa-es
node.name: node1
path.data: /usr/local/es/elasticsearch-7.6.1/data
path.logs: /usr/local/es/elasticsearch-7.6.1/log
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["服务器IP"]
cluster.initial_master_nodes: ["节点名"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"
#修改jvm.option
cd /usr/local/es/elasticsearch-7.6.1/config
vim jvm.options
-Xms2g
-Xmx2g

#4.2  修改系统配置，解决启动时候的问题
#由于现在使用普通用户来安装es服务，且es服务对服务器的资源要求比较多，包括内存大小，线程数等。所以我们需要给普#通用户解开资源的束缚
#4.2.1  普通用户打开文件的最大数限制
#问题错误信息描述：
#max file descriptors [4096] for elasticsearch process likely too low, increase to at least #[65536]
#ES因为需要大量的创建索引文件，需要大量的打开系统的文件，所以我们需要解除linux系统当中打开文件最大数目的限##  #制，不然ES启动就会抛错
sudo vi /etc/security/limits.conf
#添加如下内容: 注意*不要去掉了
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

#普通用户启动线程数限制
#问题错误信息描述
#max number of threads [1024] for user [es] likely too low, increase to at least [4096]
#修改普通用户可以创建的最大线程数
#max number of threads [1024] for user [es] likely too low, increase to at least [4096]原因：#无法创建本地线程问题,用户最大可创建线程数太小解决方案：修改90-nproc.conf 配置文件。
Centos6
sudo vi /etc/security/limits.d/90-nproc.conf
Centos7
sudo vi /etc/security/limits.d/20-nproc.conf

* soft nproc 1024#修改为
* soft nproc 4096

#4.2.3 普通用户调大虚拟内存
#错误信息描述：
#max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least #[262144]
#调大系统的虚拟内存
#原因：最大虚拟内存太小
#每次启动机器都手动执行下。
#三台机器执行以下命令   
sudo vim /etc/sysctl.conf
#追加以下内容：
vm.max_map_count=262144
sysctl -p

#4.3  启动ES服务
#三台机器使用aaa用户执行以下命令启动es服务
nohup /usr/local/es/elasticsearch-7.6.1/bin/elasticsearch 2>&1 &

#后台启动ES 进入bin目录  ./elasticsearch  -d
#启动成功之后jsp即可看到es的服务进程，并且访问页面 http://192.168.21.130:9200/?pretty

#这个路径下面去查看错误日志
#关闭Linux防火墙
#永久性生效，重启后不会复原
#开启： chkconfig iptables on
#关闭： chkconfig iptables off
#即时生效，重启后复原
#开启： service iptables start
#关闭： service iptables stop

5.ES数据管理

8.1 ES数据管理概述

ES是面向文档(document oriented)的，这意味着它可以存储整个对象或文档(document)。

然而它不仅仅是存储，还会索引(index)每个文档的内容使之可以被搜索。

在ES中，你可以对文档（而非成行成列的数据）进行索引、搜索、排序、过滤。

ES使用JSON作为文档序列化格式。

JSON现在已经被大多语言所支持，而且已经成为NoSQL领域的标准格式。

ES存储的一个员工文档的格式示例：

bash 复制代码 
  { "email": "[email protected]", "name": "张三", "age": 30, "interests": [ "篮球", "健身" ] }
复制代码

8.2 基本操作

创建索引

格式: PUT /索引名称

举例: PUT /es_db

查询索引

格式: GET /索引名称

举例: GET /es_db

删除索引

格式: DELETE /索引名称

举例: DELETE /es_db

添加文档

格式: PUT /索引名称/类型/id

举例: PUT /es_db/doc/1 { "name": "张三", "sex": 1, "age": 25, "address": "广州天河公园", "remark": "java developer" } PUT /es_db/ doc/2 { "name": "李四", "sex": 1, "age": 28, "address": "广州荔湾大厦", "remark": "java assistant" } PUT /es_db/*doc/3 { "name": "rod", "sex": 0, "age": 26, "address": "广州白云山公园", "remark": "php developer" } PUT /es_db/*doc/4 { "name": "admin", "sex": 0, "age": 22, "address": "长沙橘子洲头", "remark": "python assistant" } PUT /es_db/_doc/5 { "name": "小明", "sex": 0, "age": 19, "address": "长沙岳麓山", "remark": "java architect assistant" }

修改文档

格式: PUT /索引名称/类型/id 举例: PUT /es_db/_doc/1 { "name": "白起老师", "sex": 1, "age": 25, "address": "张家界 森林公园", "remark": "php developer assistant" }

注意:POST和PUT都能起到创建/更新的作用

1、需要注意的是==PUT==需要对一个具体的资源进行操作也就是要确定id才能进行==更新/创建，而==POST==是可以针对整个资源集合进行操作的，如果不写id就由ES生成一个唯一id进行==创建==新文档，如果填了id那就针对这个id的文档进行创建/更新

2、PUT只会将json数据都进行替换, POST只会更新相同字段的值

3、PUT与DELETE都是幂等性操作, 即不论操作多少次, 结果都一样

查询文档

格式: GET /索引名称/类型/id

举例: GET /es_db/_doc/1

删除文档

格式: DELETE /索引名称/类型/id

举例: DELETE /es_db/_doc/1

相关推荐
Rubypyrrha14 分钟前
Spring MVC常见注解详解
java·spring·mvc
钢铁男儿15 分钟前
Python中的标识、相等性与别名：深入理解对象引用机制
java·网络·python
AllenO.o18 分钟前
Redis五种数据结构详解
java·数据结构·数据库·redis·缓存
重生之后端学习22 分钟前
day23-集合（泛型&Set&数据结构）
java·开发语言·数据结构·算法
码农飞哥1 小时前
互联网大厂Java面试实战：从Spring Boot到微服务的技术问答与解析
java·数据库·spring boot·安全·微服务·面试·电商
雨落白笙1 小时前
端口转发与跨域处理
java
曼岛_1 小时前
[Java实战]Spring Boot 定时任务（十五）
java·spring boot·python
oliveira-time1 小时前
app加固
java
菲兹园长2 小时前
MyBatis-Plus
java·开发语言·mybatis
计算机学姐2 小时前
基于SpringBoot的在线教育管理系统
java·vue.js·spring boot·后端·mysql·spring·mybatis
热门推荐
01【分布式】Hadoop完全分布式的搭建（零基础）02从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑03KGG转MP3工具|非KGM文件|解密音频04YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】05【SpeedAI科研小助手】2分钟极速解决知网维普重复率、AIGC率过高，一键全文降！文件格式不变，公式都保留的！06西电B测-计算机网络综合实验(含验收问题)07Coze扣子平台完整体验和实践（附国内和国际版对比）08苍穹外卖面试总结09DeepSeek各版本说明与优缺点分析10最新 Kubernetes 集群部署 + flannel 网络插件（保姆级教程，最新 K8S 版本）