elasticsearch

胖成范德彪2023-08-05 19:55

elasticsearch安装

有些软件对于安装路径有一定的要求，例如：路径中不能有空格，不能有中文，不能有特殊符号，等等。

为了避免不必要的麻烦，也懒得一一辨别踩坑，我们人为作出「统一的约定」：

  • 解压版的软件，一律安装在：D:\ProgramFiles 。这是一个没中文、没空格的路径！

Elasticsearch 只有解压版本，没有安装版

Elastic 官网：https://www.elastic.co/cn/

Elastic 有一条完整的产品线及解决方案：Elasticsearch、Kibana、Logstash 等，前面说的三个就是大家常说的 ELK 技术栈。

Elasticsearch 具备以下特点：

  • 分布式，无需人工搭建集群（solr 就需要人为配置，使用 Zookeeper 作为注册中心）；
  • Restful 风格，一切 API 都遵循 Restful 原则，容易上手；
  • 近实时搜索，数据更新在 Elasticsearch 中几乎是完全同步的。

kibana 从 7.11 开始升级了 node.js 的版本，因此，从这个版本开始不再支持 win7，也就是说，win7 能使用的 kibana 的最后的版本是 7.10.2 。

1. 安装 Elasticsearch

1.1 下载解压

1.2 配置

本步骤是可选操作:如果机子内存足够大也可以不改配置

我们进入 elasticsearch-7.11.1/config 目录：

需要修改的配置文件有两个：

  • elasticsearch.yml
  • jvm.options

1.2.1 jvm.options

Elasticsearch 基于 Lucene 的，而 Lucene 底层是 java 实现，若本机内存不够需要配置 jvm 参数。

在jvm.options.d文件下创建配置文件（文件后缀是options即可）例如heap.options

  • 内存占用太多了，我们调小一些：

    -Xms512m
-Xmx512m

1.2.2 elasticsearch.yml

elasticsearch.yml 配置文件暂时不用改动。

1.3 运行

进入 elasticsearch-7.11.1\bin 目录

双击 elasticsearch.bat，启动成功时，会显示 started 字样，并且可我们在浏览器中访问：http://127.0.0.1:9200，可见类似如下内容：

json 复制代码 
{
  "name" : "DESKTOP-T540P",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "XvelzExUQgud2iqO9QLA4w",
  "version" : {
    "number" : "7.11.1",
    "build_flavor" : "default",
    "build_type" : "zip",
    "build_hash" : "747e1cc71def077253878a59143c1f785afa92b9",
    "build_date" : "2021-01-13T00:42:12.435326Z",
    "build_snapshot" : false,
    "lucene_version" : "8.7.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

2. elasicsearch 概念

2.1数据分类和查询方式

我们生活中的数据总体分为两种：

# 数据类型 说明
1 结构化数据 指具有固定格式或有限长度的数据，如数据库，元数据等。
2 非结构化数据 指不定长或无固定格式的数据，如邮件，word文档等磁盘上的文件
  • 结构化数据的查询方式

最常见的结构化数据也就是数据库中的数据。

结构化数据很容易查询，因为结构化的数据存储是有规律的。以数据库数据为例，它们有行，有列，有格式/类型，连数据的长度都是固定的。

非结构化数据的查询方式

  • 顺序扫描法（Serial Scanning）

    想象一下你在 Word 文档中使用 Ctrl + f 进行搜索。

    所谓顺序扫描，比如要找内容包含某一个字符串的文件，就是一个文档一个文档的看，对于每一个文档，从头看到尾，如果此文档包含此字符串，则此文档为我们要找的文件，接着看下一个文件，直到扫描完所有的文件。

    这个过程是相当慢的。

  • 全文检索（Full-text Search）

    将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这部分从非结构化数据中提取出的然后重新组织的信息，我们称之索引。

    从非结构化数据中提取出来的信息，通常也就是你所关注的核心信息，或者是搜索关键字。

    例如：字典。字典有两套索引：拼音表和部首检字表。拼音表就是提取的各个文字的读音信息而组成的索引；部首检字表就是提取的各个文字的偏旁部首信息而组成的索引。

    Note：一份非结构化数据，可以不止有一份索引。

    这种先建立索引，再对索引进行搜索的过程就叫全文检索（全文检索通常使用倒排索引来实现）（Full-text Search）。

    正排索引和倒排索引区别

    正排索引：由key查询实体的过程，使用正排索引

    倒排索引：与正排索引相反，由item查询key的过程，使用倒排索引

    举个例子

    举个例子，假设有3个网页：
url1 -> "我爱北京"
url2 -> "我爱到家"
url3 -> "到家美好"
这是一个正排索引：
Map结构如下
分词之后：
url1 -> {我，爱，北京}
url2 -> {我，爱，到家}
url3 -> {到家，美好}
这是一个分词后的正排索引：

分词后倒排索引：
Map结构如下
我 -> {url1, url2}
爱 -> {url1, url2}
北京 -> {url1}
到家 -> {url2, url3}
美好 -> {url3}
由检索词item快速找到包含这个查询词的网页Map就是倒排索引

    虽然创建索引的过程也是非常耗时的，但是索引一旦创建就可以多次使用，全文检索主要处理的是查询，所以耗时间创建索引是值得的。

2.2 全文检索

可以使用 Lucene 实现全文检索。Lucene 是 apache 下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎，部分文本分析引擎。

Lucene 的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能。

Lucene 只是一个库（类似于汽车发动机），而非独立的产品。通过 Lucene 实现搜索功能，但你仍需作大量的其他的工作。Solr 和 ElasticSearch 都是基于 Lucene 的搜索引擎产品。

对于数据量大、数据结构不固定的数据可采用全文检索方式搜索，比如百度、Google 等搜索引擎、论坛站内搜索、电商网站站内搜索等

3. elasticsearch简介

Elasticsearch 是一个基于 Lucene 的搜索服务器，它采用 Java 语言编写，使用 Lucene 构建索引、提供搜索功能，并以 Apache 许可条款发布。

Elasticsearch 对外提供了 RESTful API ，以使你能通过多种形式操作它。

Elasticsearch 的优点

  • 分布式
  • 全文检索
  • 近实时搜索和分析
  • 高可用
  • RESTful API

3.1 核心概念

你完全可以将 Elasticsearch 当作一个数据库（NoSQL）来看待，以便于你的理解，也更方便与你通过现象看到它的本质。实际上在很多使用场景中，Elasticsearch 确实就是在扮演 NoSQL 数据库的角色。

类似于数据库的层次结构，Elastic Search 也是如此：

mysql               es
└── database        └── index
    └── table           └── type
        └── row             └── document

另外，在 SQL 数据库中被我们称作『列』的东西，实际上也被称作『字段』，只不过我们更习惯于使用前者。而 Elastic Search（和 Lucene）则是使用后一种称呼。

3.2 概念的弱化

虽然和 RDMS(关系型数据库) 中的概念有一一对应的关系，但是 Elasticsearch 正在一步步弱化 type 的概念，并计划在未来移除 type 这个概念。

这种情况下就类似于，数据库中人为约定：一个 database 里默认有且仅有一个 table 。此时，这个 table 叫什么，实际上就无关紧要了。即便是有这样的奇怪的约定，但是实际上仍不影响我们使用 MySQL，因为你仍然可以建多个 database 。

  • 在 6.0 的时候，已经默认只能支持一个索引中有且仅有一个 type 了；
  • 到了 7.0 的时候，如果你在命令中指定 type 时，Elasticsearch 会提示你 type 被废弃（deprecated），建议使用 _doc 关键字替代。
  • 更有甚至，很多原来需要填写 type-name 的地方，不仅仅是可以使用 _doc 替代，甚至连 _doc 都不用出现都是 ok 的。

3.3 es的restful风格api

Elastic Search 的一个特点就是对外提供 Restful API 来对其进行操作，因此，它直接利用 HTTP 的四种不同请求方式来表示当前操作是增删改查中的哪一种。

HTTP 请求方式 操作
POST 新增操作，类似于 INSERT
DELETE 删除操作，类似于 DELETE
PUT 修改操作，类似于 UPDATE
GET 查询操作，类似于 SELECT

3.4 ES 中的数据类型

和数据库中的字段（列）有数据类型的概念一样，ElasticSearch 中 document 的每个『字段』也有数据类型的概念。ElasticSearch 支持的数据类型有：

  • 字符串型：text，keyword

    text 会被分词器分词；keyword 不会被分词器分词

  • 数字：long, integer, short, double, float

  • 日期：date

  • 逻辑：boolean

再复杂一些的数据类型有：

  • 对象类型：object
  • 数组类型：array
  • 地理位置：geo_point，geo_shape

3.5 其它

和数据库一样，Elastic Search 也有 集群、节点、分片、备份的概念。

另外，Elasticsearch 流行的原因之一就是其内置了集群功能，即它本身『天生』就是分布式的。即便你在单机上只有一个节点，Elasticsearch 也将它当做一个集群来看待。默认也会对你的数据进行分片和副本操作，当你向集群添加新数据时，数据也会在新加入的节点中进行平衡。

4. 对ElasticSearch 操作

4.1 操作索引

4.1.1 创建索引

对比关系型数据库，创建索引就等于创建数据库。

在postman 中，向ES服务器发送PUT 请求：http://127.0.0.1:9200/shopping

4.1.2 查询索引

在postman 中，向ES服务器发送GET请求：http://127.0.0.1:9200/shopping

查看ES 中所有索引 ，向ES服务器发送GET请求：http://127.0.0.1:9200/_cat/indices?v

4.1.3 删除索引

向ES服务器发送DELETE 请求：

http://127.0.0.1:9200/shopping

4.2 操作文档

4.2.1 创建文档映射（类似建字段，类型）

json 复制代码 
post  http://127.0.0.1:9200/shopping/_mapping
请求体
{
"properties":{
	"title":{
		"type":"keyword",
		"index":true
	},
	"category":{
		"type":"text",
		"index":true
	},
	"image":{
		"type":"keyword",
		"index":false
	},
	"price":{
		"type":"keyword",
		"index":false
	}
    }
}

4.2.2 创建文档

在postman 中，向ES服务器发送POST 请求：

http://127.0.0.1:9200/shopping/_doc

请求体

json 复制代码 
{
"title":"小米手机",
"category":"小米",
"image":"http://127.0.0.1/9000/phone/1111.jpg",
"price":3333.00
    
}

此时的请求会给这个文档自动生成一个id

指定id生成文档

向ES服务器发送PUT 请求：

http://127.0.0.1:9200/shopping/_doc/1001

请求体

json 复制代码 
{
"title":"小米手机",
"category":"小米",
"image":"http://127.0.0.1/9000/phone/1111.jpg",
"price":3333.00
    
}

4.2.3 查看文档

向ES服务器发送GET 请求：

http://127.0.0.1:9200/shopping/_doc/1001

向ES服务器发送GET 请求：

http://127.0.0.1:9200/shopping/_doc/1001/_source

查询索引下所有文档数据，向ES服务器发送GET 请求：

http://127.0.0.1:9200/shopping/_doc/_search

4.2.4 条件查询文档

post http://127.0.0.1:9200/shopping/_doc/_search
请求体
{
 "query":{
	"match":{
		"category":"手机品牌"
	}
 }
}

4.2.5 删除文档

向ES服务器发送DELETE请求：

http://127.0.0.1:9200/shopping/_doc/{文档Id}

5. Spring Boot 集成 ElasticSearch

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>

  • 老版本配置方式（已被废弃，不再推荐使用）

    略。

  • 新版本配置方式（推荐使用）

    新的配置方式使用的是 High Level REST Client 的方式来替代之前的 Transport Client 方式，使用的是 HTTP 请求，和 Kibana 一样使用的是 Elasticsearch 的 9200 端口。

    这种配置方案中，你使用的不是配置文件，而是自定义配置类：

    java 复制代码 
    /**
 * 你也可以不继承 AbstractElasticsearchConfiguration 类，而将 ESConfig 写成一般的配置类的型式。
 * 不过继承 AbstractElasticsearchConfiguration 好处在于，它已经帮我们配置好了 elasticsearchTemplate 直接使用。
 */
@Configuration
public class ESConfig extends AbstractElasticsearchConfiguration {

    @Override
    public RestHighLevelClient elasticsearchClient() {
        ClientConfiguration clientConfiguration = ClientConfiguration.builder()
            .connectedTo("localhost:9200")
            .build();
        return RestClients.create(clientConfiguration).rest();
    }
}

Elasticsearch 中的 PO 类：

java 复制代码 
@Document(indexName = "books", shards = 1, replicas = 0)
@Data
public class Book {

    @Id
    @Field(type = FieldType.Integer)
    private Integer id;
    @Field(type = FieldType.Keyword)
    private String title;
    @Field(type = FieldType.Text)
    private String press;
    @Field(type = FieldType.Keyword)
    private String author;
    @Field(type = FieldType.Keyword,index=false)
    private BigDecimal price;
    @Field(type = FieldType.Text)
    private String description;
}
  • @Document ：注解会对实体中的所有属性建立索引；
  • indexName = "books" ：表示创建一个名称为 "books" 的索引；
  • shards = 1 ： 表示只使用一个分片；
  • replicas = 0 ： 表示不使用复制备份；
  • index = false： 不能索引查询
  • @Field(type = FieldType.Keyword) ： 用以指定字段的数据类型。

4.1 创建操作的 Repository

java 复制代码 
@Repository
public interface BookRepository extends ElasticsearchRepository<Book, String> {

}

我们自定义的 CustomerRepository 接口，从它的祖先们那里继承了大量的现成的方法，除此之外，它还可以按 spring data 的规则定义特定的方法。

4.2 测试 CustomerRepository

java 复制代码 
// 创建索引
@Test
public void indexList() {
   System.out.println("创建索引");
}
// 删除索引
@Test
public void indexList() {
	restTemplate.indexOps(IndexCoordinates.of("books")).delete();
    System.out.println("删除索引");
}

6. CRUD操作

5.1、批量新增

@Test
public void indexList() {
   List<BookPo> lists = new ArrayList<>();
   lists.add(new BookPo("2","java 程序设计","小孔明",45.4F,
                        "java 语言","2033-03-03","一本好书"));
   lists.add(new BookPo("3","java 编程思想","小孔明",45.4F,
                        "java 语言","2033-03-03","一本好书"));
   lists.add(new BookPo("4","java 逻辑","小孔明",45.4F,
                        "java 语言","2033-03-03","一本好书"));
   lists.add(new BookPo("5","java 面向对象","小孔明",45.4F,
                        "java 语言","2033-03-03","一本好书"));

   bookEsDao.saveAll(lists);
}

5.2、修改

修改和新增是同一个接口，区分的依据就是id，这一点跟我们在页面发起PUT请求是类似的。

BookPo bookPo = new  BookPo("5","java 程序设计","小孔明","java 语言",
        45.4F,"2016-03-03","很好");
booksEsDao.save(bookPo);  
//由于上面的id = 5 已经存在，故再次save 就是修改

5.3、删除

@Test
public void test2(){
    bookEsDao.deleteById("1");
    bookEsDao.deleteAll();
}

5.4、基本查询

1、ElasticsearchRepository提供了一些基本的查询方法：

@Test
public void testQuery(){
    Optional<BookPo> optional = this.bookEsDao.findById("1");
    System.out.println(optional.get());
}

@Test
public void testFind(){
    // 查询全部，并按照价格降序排序
     //写法一： 
    Iterable<BookPo> items = this.bookEsDao.findAll(Sort.by(Sort.Direction.DESC,
                    "price"));
    //写法二： 
    Iterable<BookPo> items = this.booksEsDao.findAll(Sort.by(Sort.Order.desc("price")));

2、分页查询

Spring Data 自带的分页方案：

@Test
public  void testByPage(){
     	Sort sort = Sort.by(Sort.Direction.ASC,"id");
        //分页
        PageRequest pageRequest = PageRequest.of(0,2,sort);
        Page<Product> all = productDao.findAll(pageRequest);
        for (Product product : all) {
        System.out.println(product);
      }
}

3、自定义方法查询

Spring Data 的另一个强大功能，是根据方法名称自动实现功能。

比如：你的方法名叫做：findByTitle，那么它就知道你是根据title查询，然后自动帮你完成，无需写实现类。

当然，方法名称要符合一定的约定

Keyword Sample Elasticsearch Query String
And findByNameAndPrice {"bool" : {"must" : [ {"field" : {"name" : "?"}}, {"field" : {"price" : "?"}} ]}}
Or findByNameOrPrice {"bool" : {"should" : [ {"field" : {"name" : "?"}}, {"field" : {"price" : "?"}} ]}}
Is findByName {"bool" : {"must" : {"field" : {"name" : "?"}}}}
Not findByNameNot {"bool" : {"must_not" : {"field" : {"name" : "?"}}}}
Between findByPriceBetween {"bool" : {"must" : {"range" : {"price" : {"from" : ?,"to" : ?,"include_lower" : true,"include_upper" : true}}}}}
LessThanEqual findByPriceLessThan {"bool" : {"must" : {"range" : {"price" : {"from" : null,"to" : ?,"include_lower" : true,"include_upper" : true}}}}}
GreaterThanEqual findByPriceGreaterThan {"bool" : {"must" : {"range" : {"price" : {"from" : ?,"to" : null,"include_lower" : true,"include_upper" : true}}}}}
Before findByPriceBefore {"bool" : {"must" : {"range" : {"price" : {"from" : null,"to" : ?,"include_lower" : true,"include_upper" : true}}}}}
After findByPriceAfter {"bool" : {"must" : {"range" : {"price" : {"from" : ?,"to" : null,"include_lower" : true,"include_upper" : true}}}}}
Like findByNameLike {"bool" : {"must" : {"field" : {"name" : {"query" : "?*","analyze_wildcard" : true}}}}}
StartingWith findByNameStartingWith {"bool" : {"must" : {"field" : {"name" : {"query" : "?*","analyze_wildcard" : true}}}}}
EndingWith findByNameEndingWith {"bool" : {"must" : {"field" : {"name" : {"query" : "*?","analyze_wildcard" : true}}}}}
Contains/Containing findByNameContaining {"bool" : {"must" : {"field" : {"name" : {"query" : "**?**","analyze_wildcard" : true}}}}}
In findByNameIn(Collection<String>names) {"bool" : {"must" : {"bool" : {"should" : [ {"field" : {"name" : "?"}}, {"field" : {"name" : "?"}} ]}}}}
NotIn findByNameNotIn(Collection<String>names) {"bool" : {"must_not" : {"bool" : {"should" : {"field" : {"name" : "?"}}}}}}
Near findByStoreNear Not Supported Yet !
True findByAvailableTrue {"bool" : {"must" : {"field" : {"available" : true}}}}
False findByAvailableFalse {"bool" : {"must" : {"field" : {"available" : false}}}}
OrderBy findByAvailableTrueOrderByNameDesc {"sort" : [{ "name" : {"order" : "desc"} }],"bool" : {"must" : {"field" : {"available" : true}}}}

如：

public interface EsBooksDao extends ElasticsearchRepository<BookPo,String>{
    public List<BookPo> findBookPoByAuthor(String author);
    public List<BookPo> findBookPoByTitleAndPrice(String title,float price);
    List<BookPo> findByPriceBetween(float price1, float price2);
}

7. es场景

场景一：对外暴露的数据（数据量大的）的用es，如果不需要对外暴露，不需要全文检索的话，那么直接从数据查，所以做项目分析数据分成2块（哪些数据需要放es，从es查，哪些不需要）

vailable" : false}}}} | |OrderBy |findByAvailableTrueOrderByNameDesc |{"sort" : [{ "name" : {"order" : "desc"} }],"bool" : {"must" : {"field" : {"available" : true}}}}` |

如：

public interface EsBooksDao extends ElasticsearchRepository<BookPo,String>{
    public List<BookPo> findBookPoByAuthor(String author);
    public List<BookPo> findBookPoByTitleAndPrice(String title,float price);
    List<BookPo> findByPriceBetween(float price1, float price2);
}

7. es场景

场景一：对外暴露的数据（数据量大的）的用es，如果不需要对外暴露，不需要全文检索的话，那么直接从数据查，所以做项目分析数据分成2块（哪些数据需要放es，从es查，哪些不需要）

场景二：作为mysql的外置索引，把作为数据库查询条件的列数据放到es里面，这样在查询的时候，先从es查询出符合条件的id，然后根据id去数据库查，数据维护大，一旦es宕机，就麻烦了

相关推荐
CoderJia程序员甲5 小时前
重学SpringBoot3-整合 Elasticsearch 8.x (三)使用Repository
java·大数据·spring boot·elasticsearch
东方巴黎～Sunsiny5 小时前
如何优化Elasticsearch的查询性能？
大数据·elasticsearch·搜索引擎
NoneCoder11 小时前
命令行工具进阶指南
大数据·elasticsearch·搜索引擎
许苑向上12 小时前
【Elasticsearch】Elasticsearch集成Spring Boot
spring boot·elasticsearch·jenkins
东方巴黎～Sunsiny17 小时前
Elasticsearch中什么是倒排索引？
大数据·elasticsearch·jenkins
qq_356408661 天前
es 数据清理delete_by_query
elasticsearch
Elastic 中国社区官方博客1 天前
AutoOps 使每个 Elasticsearch 部署都更易于管理
大数据·人工智能·elasticsearch·搜索引擎·全文检索·devops
东方巴黎～Sunsiny1 天前
如何优化Elasticsearch查询以提高性能？
大数据·elasticsearch·搜索引擎
慢生活的人。1 天前
Springboot集成syslog+logstash收集日志到ES
spring boot·后端·elasticsearch
光仔December1 天前
【Elasticsearch入门到落地】1、初识Elasticsearch
大数据·elk·elasticsearch·搜索引擎·lucene
热门推荐
01聊聊 Python 中的同步原语，为什么有了 GIL 还需要同步原语02【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总03Windows10安装PCL1.14.0及点云配准04C++——超强级病毒代码05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06组基轨迹建模 GBTM的介绍与实现（Stata 或 R）07硬件预取之空间预取08Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO09Coze扣子平台完整体验和实践（附国内和国际版对比）10【SCS-CN】SCS-CN模型中CN值的确定