Spider-第20讲-综合实战可上线爬虫

第 20 讲 · 综合实战:把 19 个零件拼成一个「能上线跑」的爬虫

本讲目标 :把前 19 讲的能力拼成一个可配置、可增量、可并发、可恢复、可交付的完整项目。

配套代码 :spiders/s20_capstone.py

运行 :python spiders/s20_capstone.py(可加 --reset / --pages 2 / --workers 8)

本讲产物 :data/output/s20_books.csv + data/output/s20_图书报表.xlsx

---下载地址:git clone https://gitee.com/wuyikui555/python-spider.git

一、从「脚本」到「工具」:六道坎

前 19 讲每一讲只解决一个问题。但一个真实项目不是「19 个练习题」,而是一条流水线。这一讲要跨的,就是**「教学代码」和「项目代码」之间那几道坎**:

坎 问题 本讲的解法
1 解析逻辑散在各处,站点一改版就得满地找 收口到 utils.parse(改版只改一个文件)
2 爬过的数据重复入库 SQLite 主键 + upsert(第 10 讲)
3 每次都从头爬一遍 existing_ids() 增量(第 11 讲)
4 48 个详情页串行太慢 线程池并发 + 共享限速器(第 16 讲)
5 跑一半崩了,重启从头发 状态文件断点续爬(第 11 讲)
6 拿到的只是一堆行 落库 + 导出 + 报表(第 9 / 18 讲)

它「像个工具」的地方,首先体现在有命令行:

bash 复制代码
python spiders/s20_capstone.py                     # 默认:全量爬,导出
python spiders/s20_capstone.py --pages 2           # 只爬前 2 页
python spiders/s20_capstone.py --workers 8         # 并发数
python spiders/s20_capstone.py --reset             # 清空数据库重新爬
python spiders/s20_capstone.py --report-only       # 不爬,只从库里出报表

这五条命令对应五个真实使用场景:全量、试跑、调并发、重来、只看报表。能跑起来的脚本到处都有,能「按场景被调用」的脚本才叫工具。


二、阶段一:翻列表页,把目标 id 收集起来

第一个阶段不碰详情页,只做一件事:把「这次要处理谁」确定下来。

python 复制代码
ids = []
page = 1
while True:
    html = client.get(f"/?page={page}").text
    pages = parse_pager(html)
    total = max(pages) if pages else 1
    for card in BeautifulSoup(html, "lxml").select("div.card"):
        try:
            ids.append(int(card.get("data-id")))
        except (TypeError, ValueError):
            continue
    if page >= total or (max_pages and page >= max_pages):
        break
    page += 1

实测:

复制代码
① 翻列表页,收集目标 id
  第 1/5 页 → 累计 10 个 id
  第 2/5 页 → 累计 20 个 id
  第 3/5 页 → 累计 30 个 id
  第 4/5 页 → 累计 40 个 id
  第 5/5 页 → 累计 48 个 id
  去重后共 48 个待处理 id

这里有三个刻意的设计,都值得单独说:

① 为什么翻 HTML 列表页,而不是直接调 JSON 接口? 因为真实项目里你想不到接口时,HTML 就是你唯一的路 。第 18 讲我们用 /api/books 图了个方便,但真实站点未必给你接口。两个能力都要会,否则遇到纯服务端渲染的站就歇了。

② 翻页的终止条件必须是「解析出来的总页数」 ,不是写死的 range(1, 6)。parse_pager(html) 从分页条里抠出页码,max(pages) 就是总页数------站点加到 6 页,你的代码自动跟上。写死页数的爬虫,是那种「上线三个月后悄悄少爬一半数据、还不报错」的爬虫。

③ 去重保序:

python 复制代码
seen, ordered = set(), []
for i in ids:
    if i not in seen:
        seen.add(i)
        ordered.append(i)

列表页上出现「重复推荐位」「置顶」是很常见的,不去重就会让同一个 id 被处理两次(浪费请求)。用 set 去重会丢顺序,所以这里用「set 判重 + list 保序」的组合。

把 base_url 换成真实站点时要注意什么 :真实列表页往往是滚动加载 (没有 ?page=,而是 ?offset= 或 POST 分页),甚至要执行 JS 才出内容。这时第 15 讲的 Selenium 或「先抓接口」就成了必需。「怎么翻页」是每个新站点的第一个未知数,别假设它和第 18 讲一样。


三、断点状态:为什么有了数据库还要一个状态文件

先看两个函数------看似简单,但每一行都有理由:

python 复制代码
def load_state() -> dict:
    """读断点状态。文件不存在就返回初始值,不报错------
    这是所有「读配置」函数的通用原则:缺失 = 用默认值,不是异常。"""
    if STATE_FILE.exists():
        try:
            return json.loads(STATE_FILE.read_text(encoding="utf-8"))
        except (json.JSONDecodeError, OSError):
            log.warning("状态文件损坏,按全新任务处理")
    return {"done_ids": [], "pages_done": []}

def save_state(state: dict) -> None:
    """原子写:先写临时文件再 replace,避免「写到一半断电」留下半个 JSON"""
    tmp = STATE_FILE.with_suffix(".json.tmp")
    tmp.write_text(json.dumps(state, ensure_ascii=False), encoding="utf-8")
    tmp.replace(STATE_FILE)

三个要点:

  • 「读配置」函数遇到缺失应该返回默认值,而不是抛异常。 第一次运行时状态文件还不存在,这不是错误。反过来,如果 load_state 在文件缺失时抛异常,你的爬虫就永远起不来第一步。
  • 状态文件可能损坏 (手动改坏、磁盘写一半断电)。所以 json.loads 外面要包 try,损坏时「按全新任务处理」并 log.warning------降级不要静默,要留痕。
  • 写状态必须原子 :先写 .tmp 再 replace。否则一旦在「写到一半」时进程被杀,你留下一个半截 JSON,下次启动直接解析失败------而这时候你手上已经爬了一半的数据,状态却回不去了。

那为什么有了数据库还要这个状态文件?

因为「入库成功」和「这一条处理完」不是一回事。详情页拿到一半挂了,这条 id 没入库,但你已经为它花了一次请求。下次重启如果只看数据库,就会把它再抓一遍。状态文件记录的是「哪些 id 已经处理过」,比数据库更早一步。

实测第 ② 步:

复制代码
② 增量判断:目标 48 个,库里已有 48 个,本次需抓 0 个

这就是增量判断的价值:目标 48 个、库里已有 48 个、have | done_ids 覆盖了全部 → todo 为空 → 一个请求都不发。


四、阶段二:并发抓详情(这一轮它被跳过了)

这里要先做一个诚实的说明。

本讲的日志,是第二次运行 的结果。因为增量判断把 48 条全跳过了,所以日志里编号从 ② 直接跳到了 ⑤ ------③ 并发抓详情 和 ④ 入库 这两段根本没有执行:

复制代码
⑤ 没有新数据需要入库(全部已是最新)

想看到 ③④ 的真实输出,得先清空重来:

bash 复制代码
python spiders/s20_capstone.py --reset

不过并发那一段的设计仍然要讲清楚,因为它是这一讲技术含量最高的地方:

python 复制代码
pool: queue.Queue[HttpClient] = queue.Queue()
for _ in range(workers):
    pool.put(HttpClient(base_url=base_url, timeout=10, retries=2))

def job(bid: int) -> dict | None:
    limiter.wait()                  # 并发也要守规矩:全局限速
    client = pool.get()             # 借一个连接
    try:
        return fetch_one(client, bid)
    finally:
        pool.put(client)            # 一定要还回去,否则池子会枯竭

with ThreadPoolExecutor(max_workers=workers) as ex:
    futures = [ex.submit(job, bid) for bid in todo]
    for n, fut in enumerate(as_completed(futures), 1):
        row = fut.result()
        ...

两个必须共享的东西,也是新手做并发爬虫翻车最多的两处:

共享什么 为什么 不共享的后果
limiter(限速器) 所有线程协调同一个速率 N 个线程 = N 倍速率,等于把限速关了
client 连接池 requests.Session 不是线程安全的 多线程抢同一个 Session,随机报错、偶发数据错乱

第二点最隐蔽:不能 开一个 HttpClient 让所有线程共用。本讲的解法是「预建 workers 个客户端放进 queue.Queue,谁用谁取、用完还回」------这就是最简单的连接池。注意 finally: pool.put(client):借了不还,池子很快枯竭,然后所有线程卡死在 pool.get() 上,而且表现为「程序不报错、就是不前进」,极难排查。

还有一处刻意的边界划分:

python 复制代码
def fetch_one(client, book_id):
    """注意这里**只负责拿数据,不负责写库**。
    写库集中到主线程做------多个线程抢同一个 SQLite 连接会锁表。"""

并发只用于「网络 IO」,写库放回主线程串行做。 SQLite 的写是全局锁,多线程写只会互相等,还容易撞上 database is locked。要真并发写,得上 PostgreSQL/MySQL,而不是硬怼 SQLite。


五、入库与交付:让 SQL 干活,Python 别掺和

抓到的行统一 upsert 进库(主键去重),然后从库里出两种交付物。统计部分刻意交给 SQL:

python 复制代码
by_cat = store.query(f"""
    SELECT category AS 分类, COUNT(*) AS 数量,
           ROUND(AVG(price), 2)  AS 均价,
           ROUND(AVG(rating), 1) AS 均分,
           SUM(stock)            AS 总库存
    FROM "{TABLE}" GROUP BY category ORDER BY 数量 DESC, 均价 DESC
""")

为什么不把数据读出来再用 Python 算?因为「分组聚合」是数据库最擅长的活 :它不用把几万行搬进内存,还能用索引。在 Python 里写循环做同一件事,又慢又长,还容易写错。能用 SQL 表达的聚合,就别用 Python 重写一遍。

实测交付:

复制代码
⑥ 交付:明细 + 统计报表
  明细 CSV   → s20_books.csv(48 行)
  统计报表   → s20_图书报表.xlsx(4 张表:明细、分类统计、高分榜、总体)

  分类统计(前 5):
    分类          数量       均价     均分     总库存
    计算机         10   103.69    8.5    1034
    历史          10    82.32    8.1    1170
    文学          10    65.81    8.3    1427
    科普           9    80.23    8.3     881
    经济           9    79.64    8.6    1351

  总体:48 册,均价 ¥82.44,均分 8.36,总库存 5863
  评分第一:《漫谈乡土中国》9.7 分

两种交付物对应两类读者,别搞混:

交付物 给谁 为什么
s20_books.csv 别的程序 / 下游流水线 结构简单、易解析;用 utf-8-sig 保证 Excel 双击不乱码
s20_图书报表.xlsx 同事 / 业务方 多 Sheet、分类汇总,人能直接打开看

和上一讲的 s18 对照会有个有趣的一致:两讲的均价都是 ¥82.44、评分第一都是《漫谈乡土中国》 。因为数据源是同一套靶场,不同路径爬到的是同一批书------这也反过来验证了「HTML 列表页」和「JSON 接口」两条路爬到的数据是一致的。


六、工具化:把「场景」变成参数

最后一步是把散落的开关收进 argparse:

python 复制代码
p = argparse.ArgumentParser(description="图书站点完整爬虫(教学版)")
p.add_argument("--pages", type=int, default=None, help="最多爬几页列表(默认全部)")
p.add_argument("--workers", type=int, default=6, help="并发线程数(默认 6)")
p.add_argument("--interval", type=float, default=0.0,
               help="全局请求最小间隔秒数(默认 0,教学靶场不限速)")
p.add_argument("--reset", action="store_true", help="清空数据库和断点状态,从头爬")
p.add_argument("--report-only", action="store_true", help="不爬取,只从数据库导出报表")

注意 --interval 的默认值是 0.0 ,并且有一句关键的注释:「教学靶场不限速」。

把 base_url 换成真实站点时,这里是必须改的第一件事。 真实站点上,--interval 0 等于「用最快速度去打对方」。上线前应该把默认改成 1.0 秒起步 (对照目标站 robots.txt 的 Crawl-delay),把「不限速」当成只有靶场才配享有的特权。一个爬虫的默认值,决定了大多数使用者会对目标站做什么。

--interval 的值直接喂给 RateLimiter:

python 复制代码
limiter = RateLimiter(args.interval)

而这个 limiter 正是第四节里被所有线程共享的那个------「配置」和「并发」两条线在这里接上了:命令行给一个数字,全线程一起遵守。


整套专栏回顾:一条从请求到工程化的主线

20 讲走到这里,把它们串起来看,其实是一条能力递进的主线:

阶段 讲次 你获得的那个「新能力」
请求 s01 第一个请求 用代码发出一个 HTTP 请求,并看懂它是一条不能乱跨的线
s02 靶场导览 站点侦察:先摸清有哪些页面、哪些接口
s03 HTTP 速通 读懂响应:状态码、头、Cookie 都是信息
s04 requests 实战 传参 / 头 / 超时 / 重试 / Session / 流式------从「能发」到「稳定发」
解析 s05 BeautifulSoup 好写的 HTML 解析(注意默认解析器的坑)
s06 XPath 精确、可维护的结构化定位
s07 JSON 接口与正则 有接口就用接口;文本兜底用正则(贪婪 vs 非贪婪)
s08 列表 + 详情 把「翻页」和「进详情」组合成第一个完整爬虫
存储 s09 四种存储格式 CSV / JSON / JSONL / Excel,各自适合谁
s10 SQLite 去重入库 主键 + upsert,让「重跑」变成「安全」
工程化 s11 工程化四件套 配置、日志、重试、断点------让它像个正经程序
并发 s12 异步并发 asyncio + aiohttp,把 IO 等待叠起来
s16 线程池并发 线程池 + 共享限速器 + 连接池
登录 s13 登录与会话保持 Session 帮你自动带上 Cookie
提交 s14 表单自动提交 带 CSRF token 的表单 POST
动态渲染 s15 Selenium 页面是 JS 渲染的?让浏览器替你把 DOM 跑出来
下载 s17 图片批量下载 流式、消毒、去重、断点------把「下一个文件」做成工程
可视化 s18 pandas 分析出图 让数据开口说话:统计、出图、报表、人话结论
反爬 s19 反爬与应对 读懂 robots / 请求头 / 限流,并知道「什么情况不该爬」
综合 s20 综合实战 把上面全部拼成一个能上线的流水线

主线一句话概括:

请求 → 解析 → 存储 → 并发 → 登录 → 提交 → 可视化 → 反爬 → 工程化。

而它和「本地靶场」的关系是:靶场把「不稳定」拿掉了,让你能专心练每一块能力。 每个案例都能离线跑通、输出确定,你才能把注意力放在「这一讲到底在解决什么问题」上。

迁移到真实项目:这条主线要改什么

这套工程搬到真实站点,改动集中在输入和边界,而不是流程:

环节 靶场现状 迁移到真实站点要做的
入口 LocalSite() 起一个本地端口 换成真实 base_url;先读 robots.txt
请求头 HttpClient 默认浏览器头 按目标站调整;同一会话内 UA 保持固定
限速 --interval 0(靶场不限速) 默认改成 1 秒起,对齐 Crawl-delay;被 429 就降频
解析 utils.parse 已对齐靶场结构 只改这一个文件;真实站点改版时改这里
列表 ?page= 分页 换成 offset / 滚动加载 / 抓接口,必要时上 Selenium
存储 本地 SQLite 数据量大就换 PostgreSQL/MySQL;图片放对象存储
增量 existing_ids + 状态文件 逻辑不变,直接复用
断点 s20_state.json 逻辑不变;分布式场景要换成共享存储
观测 utils.log 接上集中日志;加成功率、耗时等指标
调度 手动运行 用 cron / 定时任务 / 工作流引擎周期跑增量
合规 靶场无需授权 读用户协议、不碰个人信息、不碰登录墙后数据

有一条经验值得单独强调:

迁移时,把「改解析」和「改流程」分开做。 先让靶场的流程在真实站点上跑通一条 (哪怕只抓 1 个页面),确认请求头、限速、解析都没问题,再放开量。很多人一上来就把 --workers 调到 32、--interval 设成 0,结果第一个小时就被封------而封禁的代价,是整条流水线停摆,远大于省下的那点时间。


本讲小结

能力 一句话要点
可配置 用 argparse 把「场景」变成参数;默认值要按真实站点设,尤其 --interval
可增量 existing_ids() + 状态文件,已处理的 id 一个请求都不再发
可并发 线程池里共享一个 限速器和一个连接池;Session 不线程安全;写库回主线程
可恢复 状态文件原子写 (.tmp + replace);读配置缺失时给默认值、损坏时降级留痕
可交付 CSV 给程序、多 Sheet Excel 给业务;统计交给 SQL,别用 Python 重写聚合
收口 解析进 utils.parse,改版只改一处;配置/日志/重试/断点是最小工程集

写在最后

二十讲,从 requests.get(url) 这一行开始,到一个有命令行、能增量、能续传、能出报表的爬虫结束。

如果只能让你带走三句话,我希望是这三句:

第一,技术问题的答案往往在技术之外。 你写不出正确的 XPath,可能是页面结构你根本没看清;你被 429 反复拦,可能不是退避算法不对,而是频率本身就超标。先搞清楚对方是怎么工作的,再决定自己怎么写。

第二,「能跑」和「能上线」之间隔着的是工程,不是算法。 回头看第 20 讲那六道坎------收口解析、增量、并发、断点、交付------没有一件是算法。但正是它们,把一段「跑一次就丢」的脚本,变成了一个「可以交给别人用」的工具。技术专栏里最爱讲的是巧妙的技巧,真正拉开差距的却是这些平淡的工程习惯。

第三,也是最重要的一句:能力有边界,权利更有边界。 你学会了发请求、解析、并发、绕限流,意味着你能做 很多事------但这从来不等于你可以做 很多事。爬之前读 robots.txt、限速、不碰个人信息、不碰登录墙后的数据、不把对方网站打崩。这不是专栏为了免责硬加的尾巴,而是一个技术人能不能长期做这件事的前提。

爬虫的本质,是替人做重复的、机械的、有规律的访问。 它应该让你省下时间去做更需要判断力的事,而不是让你变成一个更高效的骚扰者。

愿你的每一个爬虫,都跑得稳、守得住、对得起被访问的那台服务器。

------ 全专栏完,共 20 讲。

相关推荐
培培说证19 分钟前
大数据与会计专业性价比高的证书有哪些?
大数据
JonaHu1 小时前
关键词排名突然消失?用 Python、SQLite 和 SERP API 搭一套可解释的 SEO 监控
python·sqlite·seo·serp api
prince_zxill2 小时前
把 17 个散文件装进一个文件夹:拆解 claude-plugins-official 的插件打包术(47,413 Star 实测)
python·github·agent·mcp·claude code
少司府2 小时前
嵌入式外设篇(三)GPIO·三:MCU系统结构、总线与统一编制
linux·python·stm32·单片机·嵌入式硬件·mcu·嵌入式软件
伞伞悦读3 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
老余说AI3 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
starzy19903 小时前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs
Lansonli3 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark
console.log('npc')4 小时前
Python 学习教程 · 第4课:数据结构
数据结构·python·学习