Redis --- 使用HyperLogLog实现UV(访客量)

UVPV 是网站或应用数据分析中的常用指标,用于衡量用户活跃度和页面访问量。


UV (Unique Visitor 独立访客)

  • 指的是在一定时间内访问过网站或应用的独立用户数量
  • 通常根据用户的 IP 地址、Cookies 或用户 ID 等来唯一标识一个用户。
  • 示例:同一个用户访问页面 3 次,仍然算作 1 个 UV。

PV (Page View 页面访问量)

  • 指的是某个页面在一定时间内被访问的次数
  • 每次页面加载或刷新都会计为一次 PV。
  • 示例:如果一个用户打开页面并刷新 3 次,那么这 3 次都算作 3 次 PV。

UV 是统计独立访客的数量,我们可以通过 Redis 的 Set 数据结构来实现。Set 是一个不允许重复的集合,因此可以利用这一特性避免重复计数。但是如果用户量非常大,使用 Set 来存储用户 ID 会消耗很多内存 ,这时可以使用 Redis 提供的 HyperLogLog 数据结构来估算 UV

HyperLogLog 用于基数统计,能够以非常低的内存消耗计算大规模数据的基数 (如独立访客数)。然而,它不会像 Set 一样准确存储所有数据,而是使用概率统计来给出一个近似值,误差通常小于 0.81% 左右,所以我们通常使用其来统计UV。 逐个存储 (一个一个存储)元素到 HyperLogLog 会在某些情况下增加误差。

Redis 提供的 HyperLogLog 命令

  • PFADD key element [element ...]:向 HyperLogLog 数据结构添加元素,Redis 将会使用这些元素估算基数。
  • PFCOUNT key [key ...]:返回一个或多个 HyperLogLog 估算的基数。

使用 HyperLogLog 估算独立访客数(UV):

java 复制代码
String userKey = "page:uv:homepage";
String userId = "user123";  // 用户唯一标识
jedis.pfadd(userKey, userId);  // 将用户 ID 添加到 HyperLogLog 中

查询估算的 UV 数量:

java 复制代码
Long uvEstimate = jedis.pfcount("page:uv:homepage");
System.out.println("估算的独立访客数:" + uvEstimate);

使用 HyperLogLog 进行 UV 估算时,内存消耗较少,但是由于其是基于概率算法,因此存在一定的误差,适合用于大规模数据分析。

java 复制代码
@SpringBootTest
public class HmDianPingApplicationTests {
    @Resource
    private StringRedisTemplate stringRedisTemplate;
    @Test
    public void hyperLogLogTest(){
        // 模拟庞大数据
        String[] values = new String[1000];
        int j = 0;
        for(int i = 0; i < 1000000; i++){
            j = i % 1000;
            values[j] = "user_" + i;
            if(j == 999) {
                // 发送到Redis中
                stringRedisTemplate.opsForHyperLogLog().add("hl2",values);
            }
        }
        // 统计数量
        Long count = stringRedisTemplate.opsForHyperLogLog().size("hl2");
        System.out.println(count);
    }

}

而HyperLogLog 不适合计算 PV,因为 PV 需要精确计数每一次页面访问,而 HyperLogLog 只用于估算基数。计算 PV 应该使用 Redis 的 String 类型,并通过 INCRINCRBY 命令来增加访问计数。


HyperLogLog 是一种高效的基数估算方法,适用于大数据量场景,能够以非常低的内存消耗提供基数(UV)估算。而 PV 则需要精确计数,因此需要使用字符串计数器。逐个存储 (一个一个存储)元素到 HyperLogLog 会在某些情况下增加误差。

相关推荐
自信的小螺丝钉4 小时前
Leetcode 146. LRU 缓存 哈希表 + 双向链表
leetcode·缓存·散列表
ANYOLY6 小时前
Redis 面试宝典
数据库·redis·面试
洲覆8 小时前
Redis 核心数据类型:从命令、结构到实战应用
服务器·数据库·redis·缓存
山海不说话8 小时前
Java后端面经(八股——Redis)
java·开发语言·redis
muxin-始终如一10 小时前
MySQL与Redis面试问题详解
数据库·redis·mysql
沧澜sincerely12 小时前
Redis 键空间 & 五大类型
java·redis·docker
不剪发的Tony老师14 小时前
RedisFront:一款免费开源的跨平台Redis客户端工具
数据库·redis·redisfront
麦兜*14 小时前
Redis数据迁移实战:从自建到云托管(阿里云/腾讯云)的平滑过渡
java·spring boot·redis·spring·spring cloud·阿里云·腾讯云
RoboWizard14 小时前
传输无界 金士顿双接口U盘上新抽电脑
运维·人工智能·缓存·电脑·金士顿
Roye_ack15 小时前
【项目实战 Day7】springboot + vue 苍穹外卖系统(微信小程序 + 微信登录模块 完结)
spring boot·redis·后端·小程序·个人开发·学习方法·苍穹外卖