【中间件】ElasticSearch简介和基本操作

一、简介

Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎,支持各种数据类型,包括文本、数字、地理、结构化、非结构化 ,可以让你存储所有类型的数据,能够解决不断涌现出的各种用例。其构成如下:

说明:

1、Elasticsearch由索引(Index)、类型(Type)、文档(Document)构成。index相当于数据库,类型相当于数据表,文档相当于表中数据,只是该数据是json字符串格式,每个文档(json字符串)均包含一个id

2、7版本以后已经移除了类型(Type)概念,索引(Index)里直接存储文档(Document)。

3、Kibana是ES的可视化工具,相当于Navicat。

4、操作ES是给它发送请求,设置端口为9200。请求地址为/index/type/数据id/操作名称(可参照文档)

二、基本操作

  • 说明: 主要包括对ES中的文档进行增删改查。所有操作使用ES提供的API来实现。所有操作均参考官方文档中的Java High Level REST Client ›Document APIs,该文档包含了所有ES的增删改查代码。
  • 官方文档中的增删改查有多种实现方式,具体可参照文档,这里只展示一种增删改查的方法
  • 主要步骤:导包->写配置->主启动类(这里不涉及)->业务类

**导包:**参考文档下的Getting started->Maven Repository

bash 复制代码
<!--    elasticsearch依赖    -->
        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
            <version>7.16.2</version>
        </dependency>

**写配置:**参考文档下的Getting started->Initialization+RequestOptions

bash 复制代码
@Configuration
public class EsConfig {

    public static final RequestOptions COMMON_OPTIONS;
    static {
        RequestOptions.Builder builder = RequestOptions.DEFAULT.toBuilder();
//        builder.addHeader("Authorization", "Bearer " + TOKEN);
//        builder.setHttpAsyncResponseConsumerFactory(
//                new HttpAsyncResponseConsumerFactory
//                        .HeapBufferedResponseConsumerFactory(30 * 1024 * 1024 * 1024));
        COMMON_OPTIONS = builder.build();
    }

    @Bean
    public RestHighLevelClient restHighLevelClient(){
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("192.168.195.131", 9200, "http")));
        return client;
    }
}

1、增:

  • 参考Document APIs->Index API。包含多种增加数据的方式。这里只写一种,其他写法可参照文档。
bash 复制代码
@SpringBootTest
public class EsSearchTest {

    @Autowired
    RestHighLevelClient restHighLevelClient;

    @Test
    void contextLoads(){
        
    }

    @Test
    void indexUser() throws IOException {
        IndexRequest indexUser = new IndexRequest("user").id("1").source(JSON.toJSONString(new User("姓名", "男", 27)), XContentType.JSON);
        IndexResponse indexUserRes = restHighLevelClient.index(indexUser, EsConfig.COMMON_OPTIONS);
        System.out.println("插入user到ES返回的响应数据:" + indexUserRes);
    }
 }

说明:官方文档里的client对象是这里的restHighLevelClient对象,该对象在上述配置类中已配置完成。

2、删:

bash 复制代码
@SpringBootTest
public class EsSearchTest {

    @Autowired
    RestHighLevelClient restHighLevelClient;

    @Test
    void contextLoads(){
        
    }

    @Test
    void deleteUser() throws IOException {
        DeleteRequest deleteUser = new DeleteRequest("user", "1");
        DeleteResponse deleteUserRes = restHighLevelClient.delete(deleteUser, EsConfig.COMMON_OPTIONS);
        System.out.println("删除user到ES返回的响应数据:" + deleteUserRes);
    }
 }

3、改:

bash 复制代码
@SpringBootTest
public class EsSearchTest {

    @Autowired
    RestHighLevelClient restHighLevelClient;

    @Test
    void contextLoads(){
        
    }

    @Test
    void updateUser() throws IOException {
        UpdateRequest updateUser = new UpdateRequest("user", "1").doc(JSON.toJSONString(new User("姓名", "女", 18)), XContentType.JSON);
        UpdateResponse updateUserRes = restHighLevelClient.update(updateUser, EsConfig.COMMON_OPTIONS);
        System.out.println("修改user到ES返回的响应数据:" + updateUserRes);
    }
 }

4、查:

bash 复制代码
@SpringBootTest
public class EsSearchTest {

    @Autowired
    RestHighLevelClient restHighLevelClient;

    @Test
    void contextLoads(){
        
    }

    @Test
    void getUser() throws IOException {
        GetRequest getUser = new GetRequest("user", "1");
        GetResponse getUserRes = restHighLevelClient.get(getUser, EsConfig.COMMON_OPTIONS);
        System.out.println("查询user到ES返回的响应数据:" + getUserRes);
    }
 }

5、聚合查询:

  • 参考官方文档下的Java High Level REST Client -›Search APIs

(1) 需求:按照年龄聚合,并且请求这些年龄段的这些人的平均薪资

对应ES查询语句如下:

c 复制代码
GET bank/_search
{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "ageAgg": {
      "terms": {
        "field": "age",
        "size": 100
      },
      "aggs": {
        "avgBal": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

(2) 对应java程序实现如下:

  • 代码均可参考官方文档,很详细。
bash 复制代码
void searchBank() throws IOException {
        SearchRequest searchRequest = new SearchRequest("bank");
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
        // 构造查询条件
        searchSourceBuilder.query(QueryBuilders.matchAllQuery());
        searchSourceBuilder.aggregation(AggregationBuilders.terms("ageAgg").field("age").size(100).subAggregation(AggregationBuilders.avg("avgBal").field("balance")));

        searchRequest.source(searchSourceBuilder);
        SearchResponse searchRes = restHighLevelClient.search(searchRequest, EsConfig.COMMON_OPTIONS);

        // 获取查询结果
        System.out.println("search查询结果为:"+JSON.toJSONString(searchRes.getAggregations()));
    }
相关推荐
OBOO鸥柏31 分钟前
OBOO鸥柏“触摸屏广告一体机交互”亮相2024中国珠海航展
大数据·人工智能·科技·交互
我是琦琦琦琦1 小时前
flink 同步oracle11g数据表到pg库
大数据·postgresql·oracle·flink
myheartgo-on2 小时前
PySpark——Python与大数据
大数据·python·信息可视化
Mephisto.java2 小时前
【大数据学习 | flume】flume的概述与组件的介绍
大数据·学习·flume
苹果酱05673 小时前
C语言 char 字符串 - C语言零基础入门教程
java·开发语言·spring boot·mysql·中间件
进击的小小学生3 小时前
2024年第45周ETF周报
大数据·人工智能
青云交3 小时前
大数据新视界 -- 大数据大厂之 Impala 性能优化:数据加载策略如何决定分析速度(上)(15/30)
大数据·impala·数据加载策略·分析速度·全量加载·增量加载·优化技巧
数据猿4 小时前
【金猿案例展】科技日报——大数据科技资讯服务平台
大数据·科技
爱吃土豆的马铃薯ㅤㅤㅤㅤㅤㅤㅤㅤㅤ6 小时前
idea 弹窗 delete remote branch origin/develop-deploy
java·elasticsearch·intellij-idea
Matrix706 小时前
HBase理论_HBase架构组件介绍
大数据·数据库·hbase