40亿QQ号,只有1G内存,怎么存储和去重?

这是一道面试经典考题,实际上在项目中用处也非常大。

分析

QQ号都是整数,先假设使用 int 存储,一个 int 占 4 个字节,简单计算 40亿 * 4 / 1024 / 1024 / 1024 = 14.9 GB,大概需要 15GB 左右的空间才能存的下,用 long 和 Integer 就更多了,差不多分别是 int 的 2 倍和 4 倍空间需求。

这么大的内存占用显然不符合面试官的要求。

使用 int 存储,0 和 1000000000 都是一样的 4 byte,那大部分的空间不都妥妥的浪费了,有没有更高效一点的结构呢?

聪明的你一定想到了,对数字来说没必要全量存储,可以用一串二进制码来表示,所在位是 0 表示不存在该数字,所在位是 1 表示存在该数字,比如 1010 从右至左就表示 1,3 两个数字,这样每个数字就只占用 1 bit,8 bit 等于 1 字节,存下 40 亿QQ号也只需要 40亿 / 8 / 1024 / 1024 = 476.83 MB

恭喜你,发明了位图!

位图

位图(BitMap)的基本思想就是用 bit 来标示一个元素的存在与否,通常只有 0 和 1 两种值。

因为用 bit 来存储数据,所以其最大的优点就是节省空间,适用于对海量数字的存储和去重。也正因为使用位表示数字,所以对于稀疏数据来说,相对比较浪费空间,比如位图只存了 1 和 999,那么中间的第 2 位 到第 998 位都是0,相当于用 999 bit 只存了 2 个数字。

同样的道理,位图也适合数字场景。

在 Java 中,位图的具体实现是 BitSet。

BitSet 源码解析

底层结构

底层是一个 long 数组。

vbnet 复制代码
/**
 * The internal field corresponding to the serialField "bits".
 * 这个就是用来存具体二进制位图的数组,每个long有64位,所以可以存64位的二进制数字
 */
private long[] words;

索引定位

因为 long 有 64 位,所以通过 bitIndex / 64 计算应该存到数组的哪个位置上。

arduino 复制代码
/**
 * Given a bit index, return word index containing it.
 * 确定一个位应该存在数组的哪个位置上,返回数组下标
 */
private static int wordIndex(int bitIndex) {
    // 通过位运算提高效率,右移计算相当于除以2的次幂,2的6次幂就是64,这里等价 bitIndex / 64
    return bitIndex >> 6;
}

设置位

scss 复制代码
/**
 * Sets the bit at the specified index to { @code true}.
 *
 * @param bitIndex a bit index
 * @throws IndexOutOfBoundsException if the specified index is negative
 * @since JDK1.0
 */
public void set(int bitIndex) {
    if (bitIndex < 0)
        throw new IndexOutOfBoundsException("bitIndex < 0: " + bitIndex);

    int wordIndex = wordIndex(bitIndex); // 确定索引
    expandTo(wordIndex);

    // 这一步是设置对应的二进制位为1
    words[wordIndex] |= (1L << bitIndex); // Restores invariants

    checkInvariants();
}

核心逻辑

  • 1L << bitIndex:生成一个只有指定位为 1 的掩码。
  • |=:按位或操作,确保目标位被设置为 1,其他位保持不变。

以上就是 Java BitMap 实现类 BitSet 的核心逻辑。

相关推荐
地平线开发者8 分钟前
开发者说|RoboTransfer:几何一致视频世界模型,突破机器人操作泛化边界
算法·自动驾驶
hhhh明20 分钟前
【调试Bug】网络在训练中输出NaN
人工智能·算法
蛋仔聊测试26 分钟前
SQL语句执行顺序全解析
python·面试
前端缘梦44 分钟前
JavaScript 高频面试题精讲:var、let、const 与类型系统全解析
前端·面试
月小水长1 小时前
面试了全球首个 AI 全栈高级 IDE CodeBuddy,当场就下了 Offer
面试·程序员
mrsk1 小时前
用魔塔来体验一把NLP(机械学习)
前端·机器学习·面试
dragoooon341 小时前
[LeetCode]每日温度
算法·leetcode·职场和发展
Morriser莫1 小时前
贪心算法Day6学习心得
算法·贪心算法
不愧是你呀1 小时前
Leetcode力扣解题记录--第21题(合并链表)
算法·leetcode·链表
满分观察网友z1 小时前
树的深处,宝藏何在?——我的日志系统重构与层序遍历的奇遇记(513. 找树左下角的值)
算法