【Elasticsearch】cumulative_cardinality

1.定义与用途

`cumulative_cardinality`是一种父级管道聚合(Parent Pipeline Aggregation),用于在父级直方图(`histogram`)或日期直方图(`date_histogram`)聚合中计算累计基数。它主要用于统计在某个时间范围内"新增"的唯一项目数量,例如每天访问网站的新访客数量。

2.工作原理

`cumulative_cardinality`聚合会计算每个时间桶中的唯一值数量,并将这些值累计起来。它依赖于父级直方图中的某个基数聚合(`cardinality`)结果。具体来说,它会从第一个时间桶开始,逐个累加每个桶中的唯一值数量,从而得到每个时间点的累计唯一值数量。

3.参数

• `buckets_path`:必需参数,指定要计算累计基数的基数聚合路径。

• `format`:可选参数,定义输出值的格式。如果指定,格式化的值将返回在聚合的`value_as_string`属性中。

4.应用场景

`cumulative_cardinality`聚合特别适用于以下场景:

• 统计新增用户:例如,每天访问网站的新访客数量。

• 分析趋势:通过累计唯一值的变化,可以分析数据的增长趋势。

5.示例

假设我们有一个索引`user_hits`,其中记录了每次用户访问的日期(`timestamp`字段)和用户ID(`user_id`字段)。我们希望计算每天新增的唯一用户数量。

查询示例:

```json

GET /user_hits/_search

{

"size": 0,

"aggs": {

"users_per_day": {

"date_histogram": {

"field": "timestamp",

"calendar_interval": "day"

},

"aggs": {

"distinct_users": {

"cardinality": {

"field": "user_id"

}

},

"total_new_users": {

"cumulative_cardinality": {

"buckets_path": "distinct_users"

}

}

}

}

}

}

```

响应结果:

```json

{

"took": 11,

"timed_out": false,

"_shards": ...,

"hits": ...,

"aggregations": {

"users_per_day": {

"buckets": [

{

"key_as_string": "2019-01-01T00:00:00.000Z",

"key": 1546300800000,

"doc_count": 2,

"distinct_users": {

"value": 2

},

"total_new_users": {

"value": 2

}

},

{

"key_as_string": "2019-01-02T00:00:00.000Z",

"key": 1546387200000,

"doc_count": 2,

"distinct_users": {

"value": 2

},

"total_new_users": {

"value": 3

}

},

{

"key_as_string": "2019-01-03T00:00:00.000Z",

"key": 1546473600000,

"doc_count": 3,

"distinct_users": {

"value": 3

},

"total_new_users": {

"value": 4

}

}

]

}

}

}

```

结果解释:

• 2019-01-01:当天有2个唯一用户,且都是新增用户。

• 2019-01-02:当天有2个唯一用户,但累计新增用户数为3,说明当天只有1个是新增用户。

• 2019-01-03:当天有3个唯一用户,累计新增用户数为4,说明当天只有1个是新增用户。

6.增量累计基数

有时,我们不仅需要累计总数,还需要查看每天新增的用户数(而不是累计总数)。这可以通过在查询中添加一个`derivative`聚合来实现。

查询示例:

```json

GET /user_hits/_search

{

"size": 0,

"aggs": {

"users_per_day": {

"date_histogram": {

"field": "timestamp",

"calendar_interval": "day"

},

"aggs": {

"distinct_users": {

"cardinality": {

"field": "user_id"

}

},

"total_new_users": {

"cumulative_cardinality": {

"buckets_path": "distinct_users"

}

},

"incremental_new_users": {

"derivative": {

"buckets_path": "total_new_users"

}

}

}

}

}

}

```

响应结果:

```json

{

"took": 11,

"timed_out": false,

"_shards": ...,

"hits": ...,

"aggregations": {

"users_per_day": {

"buckets": [

{

"key_as_string": "2019-01-01T00:00:00.000Z",

"key": 1546300800000,

"doc_count": 2,

"distinct_users": {

"value": 2

},

"total_new_users": {

"value": 2

}

},

{

"key_as_string": "2019-01-02T00:00:00.000Z",

"key": 1546387200000,

"doc_count": 2,

"distinct_users": {

"value": 2

},

"total_new_users": {

"value": 3

},

"incremental_new_users": {

"value": 1.0

}

},

{

"key_as_string": "2019-01-03T00:00:00.000Z",

"key": 1546473600000,

"doc_count": 3,

"distinct_users": {

"value": 3

},

"total_new_users": {

"value": 4

},

"incremental_new_users": {

"value": 1.0

}

}

]

}

}

}

```

结果解释:

• 2019-01-01:新增用户数为2。

• 2019-01-02:新增用户数为1。

• 2019-01-03:新增用户数为1。

通过这种方式,您可以清晰地了解每天新增的唯一用户数量,而不仅仅是累计总数。

相关推荐
阿里云大数据AI技术12 小时前
更快、更稳、更省:揭秘阿里云 Elasticsearch 存算分离与弹性扩缩
elasticsearch
阿里云大数据AI技术13 小时前
Search Lake:ES x Paimon 让湖上多模态数据可搜可用
人工智能·elasticsearch·搜索引擎
Elasticsearch1 天前
Elastic 如何利用磁盘支持的追踪存储将 OpenTelemetry 尾部采样内存占用降低 65%
elasticsearch
.柒宇.1 天前
ELK日志分析系统实战指南:Elasticsearch搭建与入门(8.18.8版本)
运维·elk·elasticsearch·logback·日志系统
Linux-18741 天前
分布式链路追踪系统之二进制安装skywalking
elasticsearch·云原生·skywalking·分布式链路追踪系统·应用程序性能监控
阿里云大数据AI技术2 天前
阿里云 Elasticsearch 日志采集与加工服务:让日志链路少一串组件,多一份稳定
人工智能·elasticsearch
heimeiyingwang2 天前
【架构实战】可观测性三支柱:日志、指标、链路的融合
elasticsearch·架构·kubernetes
Elasticsearch2 天前
Elastic Observability 中的 Prometheus 指标:你的 PromQL 可以保持不变地运行
elasticsearch
Elasticsearch2 天前
为什么 Elasticsearch 平台是你的 AI 技术栈中缺失的一块拼图
elasticsearch
Elasticsearch2 天前
数据平台赌注:为什么金融 AI 计划停滞,以及成功者如何扩展规模
elasticsearch