用Redis实现爬虫URL去重与队列管理：从原理到实战的极简指南

import redis

r = redis.Redis(host='localhost', port=6379, db=0)

def is_url_exist(url):
    return r.sismember('crawler:urls', url)

def add_url(url):
    r.sadd('crawler:urls', url)

# 使用示例
url = "https://example.com"
if not is_url_exist(url):
    add_url(url)
    # 加入待抓取队列（后续章节介绍）

适用场景：

对去重精度要求高（100%准确）
URL总量在千万级以内（SET存储每个URL约50字节）

缺点：

内存占用随URL数量线性增长，亿级URL时可能达到GB级别

方案2：BloomFilter（概率去重）

原理：布隆过滤器通过多个哈希函数将URL映射到位数组，以极低的误判率（可配置）判断URL是否可能存在。

Redis实现方式：

使用RedisBloom模块（需单独安装）
或通过Python的pybloomfiltermmap库生成布隆过滤器后序列化到Redis

代码示例（需安装RedisBloom）：

python 复制代码

# 初始化布隆过滤器（误判率1%，容量1亿）
r.execute_command('BF.RESERVE', 'crawler:bloom', 0.01, 100000000)

def may_exist(url):
    return bool(r.execute_command('BF.EXISTS', 'crawler:bloom', url))

def add_to_bloom(url):
    r.execute_command('BF.ADD', 'crawler:bloom', url)

# 使用示例
url = "https://example.com"
if not may_exist(url):
    add_to_bloom(url)
    # 进一步用SET精确验证（可选）

适用场景：

URL总量过亿，内存敏感
允许极低概率的重复（如0.1%误判率）

选择建议：

中小型爬虫（百万级URL）：直接用SET
大型分布式爬虫（亿级URL）：BloomFilter + SET双层验证

二、任务队列管理：LPUSH/RPOP还是BRPOP？

场景痛点

爬虫需要管理待抓取URL队列、已抓取待解析队列、错误重试队列等，传统数据库的POP操作效率低，且无法实现多进程/线程的高效协作。

方案1：List + RPOP（简单队列）

原理：Redis的LIST类型支持LPUSH（左插入）和RPOP（右弹出），实现FIFO队列。

实现步骤：

生产者用LPUSH将URL加入队列头部
消费者用RPOP从队列尾部取出URL

代码示例：

python 复制代码

def enqueue_url(url):
    r.lpush('crawler:queue', url)

def dequeue_url():
    return r.rpop('crawler:queue')

# 多消费者示例
while True:
    url = dequeue_url()
    if url:
        print(f"Processing: {url.decode('utf-8')}")

缺点：

空队列时消费者会立即返回None，需要额外处理
高并发下可能出现重复消费（可通过Lua脚本解决）

方案2：BRPOP（阻塞队列）

原理：BRPOP在队列为空时阻塞等待，直到有新元素加入，避免轮询消耗CPU。

代码示例：

python 复制代码

def worker():
    while True:
        # 阻塞等待，超时时间0表示无限等待
        _, url = r.brpop('crawler:queue', timeout=0)
        print(f"Processing: {url.decode('utf-8')}")

# 启动多个worker
import threading
for _ in range(4):
    threading.Thread(target=worker).start()

优势：

天然支持多消费者并发
减少无效轮询

方案3：优先级队列（ZSET）

场景：需要优先处理某些URL（如首页、更新频繁的页面）。

实现：用ZSET（有序集合），score表示优先级，数值越小优先级越高。

代码示例：

python 复制代码

def enqueue_priority(url, priority=0):
    r.zadd('crawler:priority_queue', {url: priority})

def dequeue_priority():
    # 获取并删除score最小的元素
    result = r.zrange('crawler:priority_queue', 0, 0)
    if result:
        url = result[0].decode('utf-8')
        r.zrem('crawler:priority_queue', url)
        return url

# 或使用ZPOPMIN（Redis 5.0+）
def dequeue_priority_modern():
    return r.execute_command('ZPOPMIN', 'crawler:priority_queue')

三、分布式爬虫的Redis实践

场景：多机器协作抓取

当爬虫部署在多台服务器上时，需要共享URL去重集合和任务队列。

关键设计：

全局唯一键名 ：在键名中加入环境标识，如prod:crawler:urls
连接池管理：每台机器维护独立的Redis连接池，避免频繁创建连接
原子操作：使用Lua脚本保证去重+入队的原子性

Lua脚本示例（保证SET添加和队列入队的原子性）：

python 复制代码

-- add_and_enqueue.lua
local url = KEYS[1]
local queue_key = KEYS[2]
if redis.call('SISMMEMBER', 'crawler:urls', url) == 0 then
    redis.call('SADD', 'crawler:urls', url)
    redis.call('LPUSH', queue_key, url)
    return 1
else
    return 0
end

Python调用：

python 复制代码

script = """
local url = KEYS[1]
local queue_key = KEYS[2]
if redis.call('SISMMEMBER', 'crawler:urls', url) == 0 then
    redis.call('SADD', 'crawler:urls', url)
    redis.call('LPUSH', queue_key, url)
    return 1
else
    return 0
end
"""
add_if_new = r.register_script(script)

# 使用示例
result = add_if_new(keys=['https://example.com', 'crawler:queue'])
if result == 1:
    print("URL added and enqueued")

四、性能优化技巧

管道（Pipeline）：批量操作减少网络往返

python 复制代码

pipe = r.pipeline()
for url in urls:
    pipe.sadd('crawler:urls', url)
pipe.execute()

键名设计 ：使用冒号分隔命名空间，如project:module:id
过期策略：为已抓取URL设置TTL，避免内存无限增长
python 复制代码
```
r.expire('crawler:urls', 86400)  # 24小时后自动删除
```
监控内存 ：通过INFO memory命令监控使用情况

常见问题Q&A

Q1：被网站封IP怎么办？

A：立即启用备用代理池，建议使用住宅代理（如站大爷IP代理），配合每请求更换IP策略。可在Scrapy中设置DOWNLOADER_MIDDLEWARES使用scrapy-rotating-proxies中间件。

Q2：Redis突然崩溃，数据丢失怎么办？

A：启用AOF持久化（appendonly yes）并设置每秒同步（appendfsync everysec），同时定期备份RDB文件。

Q3：如何处理重复URL但不同参数的情况（如/page/1和/page/2）？

A：在存储前对URL进行规范化处理，如移除无关参数、统一大小写、解析Canonical URL。

Q4：Redis集群和单节点如何选择？

A：单节点适合中小型爬虫（QPS<10k）；集群模式支持水平扩展，但需处理跨槽操作，建议使用redis-py-cluster库。

Q5：如何限制爬取速度避免被封？

A：使用Redis的INCR和EXPIRE实现令牌桶算法，或直接在Scrapy中设置DOWNLOAD_DELAY和CONCURRENT_REQUESTS_PER_DOMAIN。

结语：Redis是爬虫的"内存加速器"

从百万级URL的精确去重，到多机协作的分布式队列，Redis通过简单的数据结构解决了爬虫开发中的核心痛点。掌握SET、LIST、ZSET的使用技巧，配合Lua脚本和管道操作，能让你的爬虫效率提升10倍以上。记住：90%的爬虫性能问题，都可以通过Redis优化解决。