ES聚合(仅供自己参考)

1、聚合:可以实现对文档数据的统计、分析、运算。聚合常见的是三大类

2、聚合的分类:

1、桶(Bucket)聚合:用来对文档做分组

  • TermAggregation:按照文档字段值分组

  • Date Histogram:按照日期阶梯分组,例如一周为一组,或者一月为一组

2、度量(Metric)聚合:用以计算一些值,AVG,MAX,MIN,SUM,STATS(都做前面的几个)

3、管道聚合(Pipeline):其他聚合的结果为基础做聚合(比如度量和桶的结果做基础)

4、参与聚合的字段不能是可分词的(Text类型):keyword,Date,数值,布尔

#桶聚合,按照字段品牌来分类
GET /hotel/_search
{
  "size": 0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 25
      }
    }
  }
}

#同聚合,按照字段品牌来分类,同时指定排序方式

GET /hotel/_search
{
  "size": 0,        #指定文档输出的数量
  "aggs": {
    "brandAgg": {
      "terms": {            #分类的类型
        "field": "brand",    #分类的字段
        "size": 20,            #分类的大小
        "order": {
          "_count": "asc"      #输出的顺序,默认为降序
        }
      }
    }
  }
}


#桶聚合,因为数据可能很多,通过查询条件筛选之后在做分类
GET /hotel/_search
{
  "query": {
    "range": {
      "price": {
        "lte": 200
      }
    }
  }, 
  "size": 0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 10
      }
    }
  }
}

聚合嵌套和Metric聚合

#metric聚合和桶聚合和度量聚合的嵌套

GET /hotel/_search
{
  "size": 0, 
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 20,
        "order": {
          "scoreAgg.avg": "asc"
        }
      },
      "aggs": {        #内嵌一个agg,使得上面每个分类自己计算自己
        "scoreAgg": {
          "stats": {
            "field": "score"
          }
        }
      }
    }
  }
}

java代码:

java 复制代码
package cn.itcast.hotel;

import com.google.protobuf.MapEntry;
import lombok.val;
import org.apache.http.HttpHost;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.search.aggregations.Aggregation;
import org.elasticsearch.search.aggregations.AggregationBuilder;
import org.elasticsearch.search.aggregations.AggregationBuilders;
import org.elasticsearch.search.aggregations.Aggregations;
import org.elasticsearch.search.aggregations.bucket.terms.Terms;
import org.junit.jupiter.api.AfterEach;
import org.junit.jupiter.api.BeforeEach;
import org.junit.jupiter.api.Test;
import org.springframework.boot.test.context.SpringBootTest;

import java.io.IOException;
import java.util.List;
import java.util.Map;
import java.util.Set;

@SpringBootTest
public class HotelAggText {

    private RestHighLevelClient client;

    @BeforeEach
    void setUp() {
        this.client = new RestHighLevelClient(RestClient.builder(
                HttpHost.create("http://192.168.136.128:9200")
        ));
    }

    @AfterEach
    void tearDown() {
        try {
            client.close();
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }

    @Test
    public void bucketAggTest() throws IOException {

        SearchRequest request = new SearchRequest("hotel");
        request.source().size(0);
        request.source().aggregation(AggregationBuilders.terms("brandAgg").field("brand").size(20));
        request.source().aggregation(AggregationBuilders.
                terms("starName").field("starName").size(10));
        //查询城市city

        request.source().aggregation(AggregationBuilders
                .terms("city").field("city").size(5));
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);
        print(response);
    }

    private void print(SearchResponse response)
    {
        Aggregations aggregations = response.getAggregations();
        Terms brandAgg = aggregations.get("brandAgg");
        Terms city =aggregations.get("city");
        List<? extends Terms.Bucket> buckets = brandAgg.getBuckets();
        for (Terms.Bucket bucket : buckets) {
            System.out.println(bucket.getKey() +"  "+bucket.getDocCount());
        }

        List<? extends Terms.Bucket> buckets1 = city.getBuckets();
        for (Terms.Bucket bucket : buckets1) {
            System.out.println(bucket.getKey() +"  "+bucket.getDocCount());
        }
        //Map<String, Aggregation> asMap = aggregations.getAsMap();
        //Aggregation brandAgg = asMap.get("brandAgg");
        //Map<String, Object> metadata = brandAgg.getMetadata();
        //for (Map.Entry<String, Object> entry : metadata.entrySet()) {
        //    System.out.println(entry.getKey() + "  "+entry.getValue());
        //}
    }
}
相关推荐
GSDjisidi3 分钟前
日语学习的难易程度
java·大数据·c语言·c++·python·学习
i嗑盐の小F17 分钟前
【SPIE出版 | ISSN: 0277-786X,EI检索稳定!】2024年计算机视觉与图像处理国际学术会议 (CVIP 2024,11月15-17日)
大数据·图像处理·人工智能·深度学习·神经网络·机器学习·计算机视觉
Mephisto.java19 分钟前
【大数据学习 | HBASE】habse的表结构
大数据·学习·hbase
Mephisto.java1 小时前
【大数据学习 | HBASE】hbase的整体架构
大数据·sql·oracle·json·hbase·database
武子康1 小时前
大数据-209 数据挖掘 机器学习理论 - 梯度下降 梯度下降算法调优
大数据·人工智能·深度学习·算法·机器学习·数据挖掘
乙真仙人1 小时前
Data+AI━━数据安全的警钟:智能化分类分级治理
大数据·人工智能·数据安全·数字化
武子康5 小时前
大数据-210 数据挖掘 机器学习理论 - 逻辑回归 scikit-learn 实现 penalty solver
大数据·人工智能·python·机器学习·数据挖掘·逻辑回归·scikit-learn
区块链蓝海6 小时前
机器人助力Bridge Champ游戏:1.4.2版本如何提升玩家体验
大数据·人工智能
A133038145367 小时前
虚拟户分账:电商资金管理的新曙光。
大数据
出发行进10 小时前
Spark的Standalone集群环境安装
大数据