分布式爬虫去重：Python + Redis实现高效URL去重

1. 引言

在互联网数据采集（爬虫）过程中，URL去重是一个关键问题。如果不对URL进行去重，爬虫可能会重复抓取相同页面，导致资源浪费、数据冗余，甚至触发目标网站的反爬机制。

对于单机爬虫，可以使用Python内置的**set()**或**dict**进行去重，但在分布式爬虫 环境下，多个爬虫节点同时工作时，内存级的去重方式不再适用。此时，需要一个共享存储 来管理已爬取的URL，而Redis凭借其高性能、低延迟和分布式支持，成为理想选择。

2. URL去重的常见方法

2.1 基于内存的去重（单机适用）

Python **set()**

最简单的去重方式，适用于小规模数据，但无法持久化，重启后数据丢失。

plain 复制代码

visited_urls = set()
if url not in visited_urls:
    visited_urls.add(url)
    # 抓取逻辑

Bloom Filter（布隆过滤器）
节省内存，但有一定误判率（可能误判未访问的URL为已访问），适用于海量URL去重。

2.2 基于数据库的去重（分布式适用）

Redis Set / Redis HyperLogLog
- **SET** 结构存储URL，精确去重（100%准确）。
- **HyperLogLog** 适用于统计不重复元素数量（有一定误差，但占用内存极小）。
关系型数据库（MySQL, PostgreSQL）
通过**UNIQUE**约束去重，但性能较低，不适合高并发爬虫。
分布式键值存储（如Memcached）
类似Redis，但功能较少，通常仅用于缓存。

3. Redis 在分布式爬虫去重中的优势

Redis 是一个高性能的内存数据库，支持多种数据结构，适用于分布式爬虫去重，主要优势包括：

高性能：数据存储在内存中，读写速度极快（10万+ QPS）。
持久化：支持RDB/AOF持久化，避免数据丢失。
分布式支持：可通过集群模式扩展，支持多爬虫节点共享数据。
丰富的数据结构 ：**SET**（精确去重）、**HyperLogLog**（近似去重）、**Bitmap**（位图去重）等。

4. Python + Redis 实现分布式URL去重

4.1 方案1：使用 Redis Set 精确去重

plain 复制代码

import redis

class RedisUrlDedupe:
    def __init__(self, redis_host='localhost', redis_port=6379, redis_db=0):
        self.redis = redis.StrictRedis(
            host=redis_host, port=redis_port, db=redis_db
        )
        self.key = "visited_urls"

    def is_visited(self, url):
        """检查URL是否已访问"""
        return self.redis.sismember(self.key, url)

    def mark_visited(self, url):
        """标记URL为已访问"""
        self.redis.sadd(self.key, url)

# 示例用法
deduper = RedisUrlDedupe()
url = "https://example.com/page1"

if not deduper.is_visited(url):
    deduper.mark_visited(url)
    print(f"抓取: {url}")
else:
    print(f"已访问: {url}")

优点：

100% 准确，无误差。
适用于中小规模爬虫（百万级URL）。

缺点：

存储所有URL，内存占用较高。

4.2 方案2：使用 Redis HyperLogLog 近似去重

如果允许少量误差（~0.8%），可使用**HyperLogLog**节省内存：

plain 复制代码

class RedisHyperLogLogDedupe:
    def __init__(self, redis_host='localhost', redis_port=6379, redis_db=0):
        self.redis = redis.StrictRedis(
            host=redis_host, port=redis_port, db=redis_db
        )
        self.key = "hll_visited_urls"

    def is_visited(self, url):
        """检查URL是否可能已访问（可能有误判）"""
        before = self.redis.pfcount(self.key)
        after = self.redis.pfadd(self.key, url)
        return after == 0  # 如果添加后计数未变，说明可能已存在

# 示例用法
hll_deduper = RedisHyperLogLogDedupe()
url = "https://example.com/page1"

if not hll_deduper.is_visited(url):
    print(f"抓取: {url}")
else:
    print(f"可能已访问: {url}")

优点：

内存占用极低（12KB可存储数亿URL）。
适用于超大规模爬虫（如全网爬取）。

缺点：

有少量误判（可能将未访问的URL误判为已访问）。

4.3 方案3：使用 Redis Bloom Filter（需安装RedisBloom模块）

Redis 官方提供 RedisBloom 模块，支持布隆过滤器（需额外安装）：

plain 复制代码

# 需确保Redis服务器加载了RedisBloom模块
class RedisBloomFilterDedupe:
    def __init__(self, redis_host='localhost', redis_port=6379, redis_db=0):
        self.redis = redis.StrictRedis(
            host=redis_host, port=redis_port, db=redis_db
        )
        self.key = "bloom_visited_urls"

    def is_visited(self, url):
        """检查URL是否可能已访问（可能有误判）"""
        return self.redis.execute_command("BF.EXISTS", self.key, url)

    def mark_visited(self, url):
        """标记URL为已访问"""
        self.redis.execute_command("BF.ADD", self.key, url)

# 示例用法
bloom_deduper = RedisBloomFilterDedupe()
url = "https://example.com/page1"

if not bloom_deduper.is_visited(url):
    bloom_deduper.mark_visited(url)
    print(f"抓取: {url}")
else:
    print(f"可能已访问: {url}")

优点：

内存占用低，误判率可控。
适用于海量URL去重。

缺点：

需要额外安装RedisBloom模块。

5. 性能优化与对比

方法	准确率	内存占用	适用场景
Redis Set	100%	高	中小规模爬虫（<1000万URL）
Redis HyperLogLog	~99.2%	极低	超大规模爬虫（允许少量误判）
Redis Bloom Filter	可调	中	海量URL（需额外模块）

优化建议：

短URL优化：存储URL的MD5或SHA1哈希值（减少内存占用）。
分片存储：按域名或哈希分片，避免单个Key过大。
TTL过期：设置过期时间，避免长期累积无用URL。

6. 结论

在分布式爬虫中，Redis 是URL去重的理想选择，支持多种数据结构：

精确去重 → **Redis Set**
低内存消耗 → **HyperLogLog**
可控误判率 → **Bloom Filter**

通过合理选择方案，可以显著提升爬虫效率，避免重复抓取。本文提供的Python代码可直接集成到Scrapy或其他爬虫框架中，助力高效数据采集。