[p2p-Magnet] 队列与处理器 | DHT路由表

第6章：队列与处理器

在第5章：分类器中，我们了解了系统如何分析原始种子数据。但当系统突然发现数百万新种子时，如何高效处理这些海量任务？这就是队列与处理器系统的职责所在。

核心概念

任务队列

• 功能定位：如同工厂的传送带，有序管理所有待处理任务
• 核心特性 ：
  • 自动重试机制（失败任务最多重试2次）
  • 优先级排序（高优先级任务优先执行）
  • 任务去重（通过指纹哈希防止重复）

处理器

• 工作模式：从队列获取任务并执行具体操作
• 并发控制：每个队列可配置独立的工作线程数
• 超时机制：默认单任务最长执行时间30分钟

任务生命周期

状态流转

任务创建 被处理器获取 执行成功 执行失败 未达重试上限 超过重试上限 Pending Running Completed Failed

数据库结构

type QueueJob struct {
    ID         string    // 任务唯一标识
    Queue      string    // 所属队列名(如"process_torrent")
    Status     string    // 任务状态(pending/running/completed)
    Payload    string    // 任务参数(JSON格式)
    Retries    uint      // 当前重试次数
    MaxRetries uint      // 最大重试次数(默认2)
    Priority   int       // 优先级(数值越大优先级越高)
}

实战应用

批量重新分类

通过命令行触发电影类种子重新分类：

bitmagnet worker reprocess-torrents \
  --content-type movie \
  --classify-mode rematch

自定义工作流

1. 创建处理任务：

msg := processor.MessageParams{
    InfoHashes:   []protocol.ID{hash1, hash2},
    ClassifyMode: processor.ClassifyModeRematch,
}
job, _ := model.NewQueueJob("process_torrent", msg)

2. 提交任务队列：

db.Create(&job)  // 任务进入pending状态

技术实现

处理器逻辑

func (p processor) Process(ctx context.Context, params MessageParams) error {
    // 1. 从数据库加载种子数据
    torrents, _ := p.search.TorrentsWithMissingInfoHashes(ctx, params.InfoHashes)
    
    // 2. 调用分类器处理
    for _, torrent := range torrents {
        result, _ := p.classifier.Run(ctx, torrent)
        // 3. 保存分类结果
        p.dao.TorrentContent.Create(&model.TorrentContent{
            InfoHash:    torrent.InfoHash,
            ContentType: result.ContentType,
        })
    }
    return nil
}

队列服务

func (s server) runWorker(ctx context.Context, h handler.Handler) {
    for {
        // 1. 获取待处理任务
        job, _ := s.query.QueueJob.Where(
            q.Queue.Eq(h.Queue),
            q.Status.Eq("pending"),
        ).First()
        
        // 2. 标记任务为执行中
        s.query.QueueJob.Where(q.ID.Eq(job.ID)).Update("status", "running")
        
        // 3. 执行处理器逻辑
        if err := h.Handle(ctx, job); err != nil {
            // 处理失败逻辑
        } else {
            // 标记任务完成
        }
    }
}

总结

队列与处理器系统通过：

1. 异步任务管理
2. 自动容错机制
3. 优先级调度
   保障系统稳定处理海量任务。下一章将深入DHT网络核心组件：DHT路由表

---

第7章：DHT路由表

在第6章：队列与处理器中，我们了解了系统如何管理后台任务。本章将深入探索DHT爬虫的核心导航系统------DHT路由表。

路由表解析

核心功能

路由表如同智能地址簿，实现：

• 节点管理：记录已知BitTorrent客户端（节点）的ID与网络地址
• 哈希索引：存储种子哈希值与对应节点关系
• 智能检索：基于ID相似度快速定位最近节点
• 动态更新：持续淘汰失效节点（默认超时30分钟）

关键参数

参数名	默认值	说明
nodesK	80	单节点桶最大容量
hashesK	80	单哈希桶最大容量
nodeTimeout	30m	节点无响应淘汰阈值

数据结构

节点结构

type Node struct {
    ID               [20]byte       // 节点唯一标识
    Addr             netip.AddrPort // IP地址与端口
    LastRespondedAt  time.Time      // 最后响应时间
    IsCandidate      bool           // 是否适合采样请求
}

哈希记录

type Hash struct {
    ID      [20]byte   // 种子哈希值
    Peers   []Peer     // 已知持有节点
    AddedAt time.Time  // 发现时间
}

type Peer struct {
    Addr netip.AddrPort // 节点网络地址
}

核心操作

节点管理

爬虫 路由表 B树 PutNode(ID, Addr) 插入/更新节点 操作结果 返回更新状态 爬虫 路由表 B树

哈希检索

func (t *Table) GetClosestHashes(targetID [20]byte, limit int) []Hash {
    return t.btree.Closest(targetID, limit)
}

监控指标

通过Prometheus暴露的关键指标：

• bitmagnet_dht_ktable_nodes_count：当前活跃节点数
• bitmagnet_dht_ktable_hashes_added_total：累计发现哈希数
• bitmagnet_dht_ktable_nodes_dropped_total：淘汰节点计数

实现原理

接口定义

type Table interface {
    PutNode(ID, netip.AddrPort) error  // 添加节点
    DropNode(ID, error) bool           // 移除节点
    GetClosestNodes(ID, int) []Node    // 获取最近节点
    PutHash(ID, []Peer) error          // 记录哈希
}

B树索引

type Btree struct {
    root   *bucket
    size   int
    mutex  sync.RWMutex
}

func (b *Btree) Closest(target [20]byte, n int) []ID {
    // 基于XOR距离算法查找最近邻
}

总结

DHT路由表通过：

1. 高效B树索引
2. 智能节点淘汰
3. 实时监控体系
   为爬虫提供稳定的网络导航能力。下一章将探索系统如何优化存储结构：数据分片策略