使用HyperLogLog统计网站uv

网站的UV定义

网站的UV(Unique Visitor)是指独立访客的数量,用于衡量网站的访问量和流量。在网站统计中,通常使用UV来度量网站的独立访客数量。

UV的定义有两种常见方式:

Cookie方式:通过浏览器的Cookie来标识和追踪访客。当一个访问者首次访问网站时,服务器会在其浏览器中生成一个唯一的标识符(通常是一个Cookie),用于标识该访客。随后,如果同一访客再次访问网站,服务器会识别出该标识符,并将其计算为一个UV。在这种方式下,如果访客在不同的浏览器或设备上访问网站,可能会被计算为多个UV。

IP地址方式:通过访客的IP地址来标识和追踪访客。当一个访问者首次访问网站时,服务器会记录其IP地址,并将其计算为一个UV。随后,如果同一IP地址再次访问网站,服务器将不会将其计算为一个UV。在这种方式下,如果多个访客在同一局域网或使用同一代理服务器访问网站,可能会被计算为一个UV。

如何统计

无论cookie的方式,还是ip地址的方式去做统计,最重要的一点,就是要去重,一个集合里面不能有重复元素。

Redis 的集合类型中,Set 类型默认支持去重,所以看到有去重需求时,我们可能第一时间就会想到用 Set 类型。

有一个用户id为10086的访问 page1 时,你把这个信息加到 Set 中:

sadd uv:page1 10086

用户 10086 再来访问时,Set 的去重功能就保证了不会重复记录用户 10086的访问次数,这样,用户 1 0086就算是一个独立访客。

当你需要统计 UV 时,可以直接用 SCARD 命令,这个命令会返回一个集合中的元素个数。

SCARD uv:page1

但是,如果 page1 非常火爆,UV 达到了千万,这个时候,一个 Set 就要记录千万个用户 ID。能占用多少内存空间呢?我大概计算下:

1千万用户访问page1

如果使用用户id统计UV,一个id,平均占用5个字节

10000000*5/1024/1024=47Mb

如果使用ip统计UV,用字符串来储存每个 IPv4 地址最多需要耗费 15 字节(格式为 'XXX.XXX.XXX.XXX' )

10000000*15/1024/1024=143Mb

对于一个搞大促的电商网站而言,这样的页面可能有成千上万个,如果每个页面都用这样的一个 Set,就会消耗很大的内存空间,想想都恐怖。那我们就不能用集合的方式来存储了,这个时候我们需要使用 HyperLogLog 这种数据类型来做这件事了。

HyperLogLog

HyperLogLog(下文简称为 HLL)是 Redis 2.8.9 版本添加的数据结构,它用于高性能的基数(去重)统计功能,它的缺点就是存在极低的误差率。

HLL 具有以下几个特点:

  • 能够使用极少的内存来统计巨量的数据,它只需要 12K 空间就能统计 2^64 的数据。
  • 统计存在一定的误差,误差率整体较低,标准误差为 0.81%。
  • 误差可以被设置辅助计算因子进行降低。
  • HyperLogLog 只会根据输入元素来计算基数,而不会储存输入元素本身,所以 HyperLogLog 不能像集合那样,返回输入的各个元素。

HyperLogLog命令

HyperLogLog 的命令只有 3 个。

添加元素 pfadd

pfadd key element [element ...]

统计不重复的元素 pfcount

pfcount key [key ...]

合并一个或多个 HLL 至新结构 pfmerge

pfmerge destkey sourcekey [sourcekey ...]

pfmerge 使用场景

当我们需要合并两个或多个同类页面的访问数据时,我们可以使用 pfmerge 来操作

小结

当需要做大量数据统计时,普通的集合类型已经不能满足我们的需求了,这个时候我们可以借助 Redis 2.8.9 中提供的 HyperLogLog 来统计,它的优点是只需要使用 12k 的空间就能统计 2^64 的数据,但它的缺点是存在 0.81% 的误差,HyperLogLog 提供了三个操作方法 pfadd 添加元素、pfcount 统计元素和 pfmerge 合并元素。

相关推荐
别NULL3 小时前
机试题——疯长的草
数据结构·c++·算法
ZSYP-S5 小时前
Day 15:Spring 框架基础
java·开发语言·数据结构·后端·spring
唐叔在学习5 小时前
【唐叔学算法】第21天:超越比较-计数排序、桶排序与基数排序的Java实践及性能剖析
数据结构·算法·排序算法
ALISHENGYA5 小时前
全国青少年信息学奥林匹克竞赛(信奥赛)备考实战之分支结构(switch语句)
数据结构·算法
DT辰白7 小时前
基于Redis的网关鉴权方案与性能优化
数据库·redis·缓存
木子七8 小时前
Redis-十大数据类型
redis
武昌库里写JAVA8 小时前
浅谈怎样系统的准备前端面试
数据结构·vue.js·spring boot·算法·课程设计
S-X-S8 小时前
代码随想录刷题-数组
数据结构·算法
l138494274518 小时前
每日一题(4)
java·数据结构·算法
kyrie_sakura8 小时前
c++数据结构算法复习基础--13--基数算法
数据结构·c++·算法