使用HyperLogLog统计网站uv

网站的UV定义

网站的UV(Unique Visitor)是指独立访客的数量,用于衡量网站的访问量和流量。在网站统计中,通常使用UV来度量网站的独立访客数量。

UV的定义有两种常见方式:

Cookie方式:通过浏览器的Cookie来标识和追踪访客。当一个访问者首次访问网站时,服务器会在其浏览器中生成一个唯一的标识符(通常是一个Cookie),用于标识该访客。随后,如果同一访客再次访问网站,服务器会识别出该标识符,并将其计算为一个UV。在这种方式下,如果访客在不同的浏览器或设备上访问网站,可能会被计算为多个UV。

IP地址方式:通过访客的IP地址来标识和追踪访客。当一个访问者首次访问网站时,服务器会记录其IP地址,并将其计算为一个UV。随后,如果同一IP地址再次访问网站,服务器将不会将其计算为一个UV。在这种方式下,如果多个访客在同一局域网或使用同一代理服务器访问网站,可能会被计算为一个UV。

如何统计

无论cookie的方式,还是ip地址的方式去做统计,最重要的一点,就是要去重,一个集合里面不能有重复元素。

Redis 的集合类型中,Set 类型默认支持去重,所以看到有去重需求时,我们可能第一时间就会想到用 Set 类型。

有一个用户id为10086的访问 page1 时,你把这个信息加到 Set 中:

复制代码
sadd uv:page1 10086

用户 10086 再来访问时,Set 的去重功能就保证了不会重复记录用户 10086的访问次数,这样,用户 1 0086就算是一个独立访客。

当你需要统计 UV 时,可以直接用 SCARD 命令,这个命令会返回一个集合中的元素个数。

复制代码
SCARD uv:page1

但是,如果 page1 非常火爆,UV 达到了千万,这个时候,一个 Set 就要记录千万个用户 ID。能占用多少内存空间呢?我大概计算下:

1千万用户访问page1

如果使用用户id统计UV,一个id,平均占用5个字节

10000000*5/1024/1024=47Mb

如果使用ip统计UV,用字符串来储存每个 IPv4 地址最多需要耗费 15 字节(格式为 'XXX.XXX.XXX.XXX' )

10000000*15/1024/1024=143Mb

对于一个搞大促的电商网站而言,这样的页面可能有成千上万个,如果每个页面都用这样的一个 Set,就会消耗很大的内存空间,想想都恐怖。那我们就不能用集合的方式来存储了,这个时候我们需要使用 HyperLogLog 这种数据类型来做这件事了。

HyperLogLog

HyperLogLog(下文简称为 HLL)是 Redis 2.8.9 版本添加的数据结构,它用于高性能的基数(去重)统计功能,它的缺点就是存在极低的误差率。

HLL 具有以下几个特点:

  • 能够使用极少的内存来统计巨量的数据,它只需要 12K 空间就能统计 2^64 的数据。
  • 统计存在一定的误差,误差率整体较低,标准误差为 0.81%。
  • 误差可以被设置辅助计算因子进行降低。
  • HyperLogLog 只会根据输入元素来计算基数,而不会储存输入元素本身,所以 HyperLogLog 不能像集合那样,返回输入的各个元素。

HyperLogLog命令

HyperLogLog 的命令只有 3 个。

添加元素 pfadd

复制代码
pfadd key element [element ...]

统计不重复的元素 pfcount

复制代码
pfcount key [key ...]

合并一个或多个 HLL 至新结构 pfmerge

复制代码
pfmerge destkey sourcekey [sourcekey ...]

pfmerge 使用场景

当我们需要合并两个或多个同类页面的访问数据时,我们可以使用 pfmerge 来操作

小结

当需要做大量数据统计时,普通的集合类型已经不能满足我们的需求了,这个时候我们可以借助 Redis 2.8.9 中提供的 HyperLogLog 来统计,它的优点是只需要使用 12k 的空间就能统计 2^64 的数据,但它的缺点是存在 0.81% 的误差,HyperLogLog 提供了三个操作方法 pfadd 添加元素、pfcount 统计元素和 pfmerge 合并元素。

相关推荐
im_AMBER6 小时前
算法笔记 09
c语言·数据结构·c++·笔记·学习·算法·排序算法
凯芸呢6 小时前
Java中的数组(续)
java·开发语言·数据结构·算法·青少年编程·排序算法·idea
AI柠檬7 小时前
几种排序算法的实现和性能比较
数据结构·算法·c#·排序算法
JH30737 小时前
《Redis 经典应用场景(一):缓存、分布式锁与限流》
redis·分布式·缓存
苦学编程的谢7 小时前
Redis_4_常见命令(完)+认识数据类型和编码方式
数据库·redis·缓存
小坏讲微服务7 小时前
五分钟使用 Docker-compose搭建 Redis 8.0 中间件
运维·redis·docker·中间件·容器·kubernetes·k8s
zz0723209 小时前
数据结构 —— 栈
数据结构
Madison-No79 小时前
【C++】关于list的使用&&底层实现
数据结构·c++·stl·list·模拟实现
Bug退退退1239 小时前
ArrayList 与 LinkedList 的区别
java·数据结构·算法
JanelSirry10 小时前
Redis服务器的的内存是多大
服务器·redis·github