07- Redis 中的 HyperLogLog 数据类型和应用场景

1. 介绍

Redis HyperLogLog 是 Redis 2.8.9 版本新增的数据类型,是一种用于【统计基数】的数据集合类型,基数统计就是指统计一个集合中不重复的元素个数。但要注意,HyperLogLog 的统计规则是基于概率完成的,不是非常准确,标准误算率是 0.81%。

所以,简单来说 HyperLogLog 提供不准确的去重计数

HyperLogLog 的优点是,在输入元素的数量或者体积非常非常大时,计算基数所需的内存空间总是固定的,并且是很小的。

在 Redis 中,每个 HyperLogLog 键只需要花费 12 KB 内存,就可以计算接近 2^64 个不同元素的基数,和元素越多就越耗费内存的 Set 和 Hash 类型相比,HyperLogLog 就非常节省空间。

这是什么概念?举个例子:

用 Java 语言来说,一般 long 类型占用 8 个字节,而 1 字节有 8 位,即:1 byte = 8 bit,即 long 数据类型最大可以表示的数是:2^63 - 1。对应上面的 2^64 个数,假设此时有 2^63 - 1 这么多个数,从 0 ~ 2^63-1,按照 long 以及 1 k = 1024 字节 的规则来计算内存总数,就是:(2^63-1)*8/1024K ,这是很庞大的一个数,存储空间远远超过 12 K,而 HyperLogLog 却可以用 12K 就能统计完。

2. 内部实现

HyperLogLog 的实现涉及到很多数学问题,太费脑子了,搞不懂。

3. 常见命令

HyperLogLog 命令很少,就三个。

复制代码
# 添加指定元素到 HyperLogLog 中
PFADD key element [element ...]
​
# 返回给定 HyperLogLog 的基数估算值
PFCOUNT key [key ...]
​
# 将多个 HyperLogLog 合并为一个 HyperLogLog
PFMERGE destkey sourcekey [sourcekey ...]

4. 应用场景

4.1 百万级网页 UV 计数

Redis HyperLogLog 优势在于只需花费 12 KB 内存,就可以计算接近 2^64 个元素的基数,和元素越多就越耗费内存的 Set 和 Hash 类型相比,HyperLogLog 就非常节省空间。

所以,非常适合统计百万级以上的网页 UV(Unique Vistor 独立访客,衡量一个给定时间范围内访问网站的不同访客数量。) 的场景。

在统计 UV 时,你可以使用 PFADD 命令(用于向 HyperLogLog 中添加新元素)把访问页面的每个用户都添加到 HyperLogLog 中。

复制代码
PFADD page1:uv user1 user2 user3 user4

接下来,就可以用 PFCOUNT 命令直接获得 page1 的 UV 值了,这个命令的作用就是返回 HyperLogLog 的统计结果。

复制代码
PFCOUNT page:uv

不过,有一点需要注意一下,HyperLogLog 的统计规则是基于概率完成的,所以它给出的统计结果是有一定误差的,标准误算率是 0.81%。

这也就意味着,你使用 HyperLogLog 统计的 UV 是 100 万,但实际的 UV 可能是 101 万。虽然误差率不算大,但是,如果你需要准确统计结果的话,最好还是继续使用 Set 或 Hash 类型。

相关推荐
ZFSS7 小时前
Localization Translate API 集成与使用指南
java·服务器·数据库·人工智能·mysql·ai编程
东风破1378 小时前
达梦DMDRS搭建、以及DMDRS双向同步
数据库·oracle·dm达梦数据库
KaMeidebaby9 小时前
卡梅德生物技术快报|抗独特型抗体开发:半抗原检测技术瓶颈拆解,抗独特型抗体开发工程化实践
前端·数据库·人工智能·其他·百度·新浪微博
NiceCloud喜云9 小时前
Claude Files API 深入:从上传、复用到配额管理的工程化指南
android·java·数据库·人工智能·python·json·飞书
A XMan.10 小时前
域名Whois信息查询V2版API接入指南
数据库
heimeiyingwang10 小时前
【架构实战】可观测性体系:从监控到全链路追踪
网络·数据库·架构
网管NO.110 小时前
SQL 日期函数全套精讲!时间格式化、日期加减、年月日提取,做日报周报直接套用
数据库·sql
杨云龙UP10 小时前
Linux 根分区被日志吃满?一次 58G Broker 日志清理实战_2026-05-20
linux·运维·服务器·数据库·hdfs·apache
sdk大全11 小时前
Studio 3T for MongoDB 2025.13.0
数据库·mongodb
码农阿豪11 小时前
平替MongoDB:金仓多模数据库助力电子证照国产化实践
数据库·mongodb