第 20 讲 · 综合实战:把 19 个零件拼成一个「能上线跑」的爬虫
本讲目标 :把前 19 讲的能力拼成一个可配置、可增量、可并发、可恢复、可交付的完整项目。
配套代码 :
spiders/s20_capstone.py运行 :
python spiders/s20_capstone.py(可加--reset/--pages 2/--workers 8)本讲产物 :
data/output/s20_books.csv+data/output/s20_图书报表.xlsx
---下载地址:git clone https://gitee.com/wuyikui555/python-spider.git
一、从「脚本」到「工具」:六道坎
前 19 讲每一讲只解决一个问题。但一个真实项目不是「19 个练习题」,而是一条流水线。这一讲要跨的,就是**「教学代码」和「项目代码」之间那几道坎**:
| 坎 | 问题 | 本讲的解法 |
|---|---|---|
| 1 | 解析逻辑散在各处,站点一改版就得满地找 | 收口到 utils.parse(改版只改一个文件) |
| 2 | 爬过的数据重复入库 | SQLite 主键 + upsert(第 10 讲) |
| 3 | 每次都从头爬一遍 | existing_ids() 增量(第 11 讲) |
| 4 | 48 个详情页串行太慢 | 线程池并发 + 共享限速器(第 16 讲) |
| 5 | 跑一半崩了,重启从头发 | 状态文件断点续爬(第 11 讲) |
| 6 | 拿到的只是一堆行 | 落库 + 导出 + 报表(第 9 / 18 讲) |
它「像个工具」的地方,首先体现在有命令行:
bash
python spiders/s20_capstone.py # 默认:全量爬,导出
python spiders/s20_capstone.py --pages 2 # 只爬前 2 页
python spiders/s20_capstone.py --workers 8 # 并发数
python spiders/s20_capstone.py --reset # 清空数据库重新爬
python spiders/s20_capstone.py --report-only # 不爬,只从库里出报表
这五条命令对应五个真实使用场景:全量、试跑、调并发、重来、只看报表。能跑起来的脚本到处都有,能「按场景被调用」的脚本才叫工具。
二、阶段一:翻列表页,把目标 id 收集起来
第一个阶段不碰详情页,只做一件事:把「这次要处理谁」确定下来。
python
ids = []
page = 1
while True:
html = client.get(f"/?page={page}").text
pages = parse_pager(html)
total = max(pages) if pages else 1
for card in BeautifulSoup(html, "lxml").select("div.card"):
try:
ids.append(int(card.get("data-id")))
except (TypeError, ValueError):
continue
if page >= total or (max_pages and page >= max_pages):
break
page += 1
实测:
① 翻列表页,收集目标 id
第 1/5 页 → 累计 10 个 id
第 2/5 页 → 累计 20 个 id
第 3/5 页 → 累计 30 个 id
第 4/5 页 → 累计 40 个 id
第 5/5 页 → 累计 48 个 id
去重后共 48 个待处理 id
这里有三个刻意的设计,都值得单独说:
① 为什么翻 HTML 列表页,而不是直接调 JSON 接口? 因为真实项目里你想不到接口时,HTML 就是你唯一的路 。第 18 讲我们用 /api/books 图了个方便,但真实站点未必给你接口。两个能力都要会,否则遇到纯服务端渲染的站就歇了。
② 翻页的终止条件必须是「解析出来的总页数」 ,不是写死的 range(1, 6)。parse_pager(html) 从分页条里抠出页码,max(pages) 就是总页数------站点加到 6 页,你的代码自动跟上。写死页数的爬虫,是那种「上线三个月后悄悄少爬一半数据、还不报错」的爬虫。
③ 去重保序:
python
seen, ordered = set(), []
for i in ids:
if i not in seen:
seen.add(i)
ordered.append(i)
列表页上出现「重复推荐位」「置顶」是很常见的,不去重就会让同一个 id 被处理两次(浪费请求)。用 set 去重会丢顺序,所以这里用「set 判重 + list 保序」的组合。
把
base_url换成真实站点时要注意什么 :真实列表页往往是滚动加载 (没有?page=,而是?offset=或 POST 分页),甚至要执行 JS 才出内容。这时第 15 讲的 Selenium 或「先抓接口」就成了必需。「怎么翻页」是每个新站点的第一个未知数,别假设它和第 18 讲一样。
三、断点状态:为什么有了数据库还要一个状态文件
先看两个函数------看似简单,但每一行都有理由:
python
def load_state() -> dict:
"""读断点状态。文件不存在就返回初始值,不报错------
这是所有「读配置」函数的通用原则:缺失 = 用默认值,不是异常。"""
if STATE_FILE.exists():
try:
return json.loads(STATE_FILE.read_text(encoding="utf-8"))
except (json.JSONDecodeError, OSError):
log.warning("状态文件损坏,按全新任务处理")
return {"done_ids": [], "pages_done": []}
def save_state(state: dict) -> None:
"""原子写:先写临时文件再 replace,避免「写到一半断电」留下半个 JSON"""
tmp = STATE_FILE.with_suffix(".json.tmp")
tmp.write_text(json.dumps(state, ensure_ascii=False), encoding="utf-8")
tmp.replace(STATE_FILE)
三个要点:
- 「读配置」函数遇到缺失应该返回默认值,而不是抛异常。 第一次运行时状态文件还不存在,这不是错误。反过来,如果
load_state在文件缺失时抛异常,你的爬虫就永远起不来第一步。 - 状态文件可能损坏 (手动改坏、磁盘写一半断电)。所以
json.loads外面要包try,损坏时「按全新任务处理」并log.warning------降级不要静默,要留痕。 - 写状态必须原子 :先写
.tmp再replace。否则一旦在「写到一半」时进程被杀,你留下一个半截 JSON,下次启动直接解析失败------而这时候你手上已经爬了一半的数据,状态却回不去了。
那为什么有了数据库还要这个状态文件?
因为「入库成功」和「这一条处理完」不是一回事。详情页拿到一半挂了,这条 id 没入库,但你已经为它花了一次请求。下次重启如果只看数据库,就会把它再抓一遍。状态文件记录的是「哪些 id 已经处理过」,比数据库更早一步。
实测第 ② 步:
② 增量判断:目标 48 个,库里已有 48 个,本次需抓 0 个
这就是增量判断的价值:目标 48 个、库里已有 48 个、have | done_ids 覆盖了全部 → todo 为空 → 一个请求都不发。
四、阶段二:并发抓详情(这一轮它被跳过了)
这里要先做一个诚实的说明。
本讲的日志,是第二次运行 的结果。因为增量判断把 48 条全跳过了,所以日志里编号从 ② 直接跳到了 ⑤ ------③ 并发抓详情 和 ④ 入库 这两段根本没有执行:
⑤ 没有新数据需要入库(全部已是最新)
想看到 ③④ 的真实输出,得先清空重来:
bash
python spiders/s20_capstone.py --reset
不过并发那一段的设计仍然要讲清楚,因为它是这一讲技术含量最高的地方:
python
pool: queue.Queue[HttpClient] = queue.Queue()
for _ in range(workers):
pool.put(HttpClient(base_url=base_url, timeout=10, retries=2))
def job(bid: int) -> dict | None:
limiter.wait() # 并发也要守规矩:全局限速
client = pool.get() # 借一个连接
try:
return fetch_one(client, bid)
finally:
pool.put(client) # 一定要还回去,否则池子会枯竭
with ThreadPoolExecutor(max_workers=workers) as ex:
futures = [ex.submit(job, bid) for bid in todo]
for n, fut in enumerate(as_completed(futures), 1):
row = fut.result()
...
两个必须共享的东西,也是新手做并发爬虫翻车最多的两处:
| 共享什么 | 为什么 | 不共享的后果 |
|---|---|---|
limiter(限速器) |
所有线程协调同一个速率 | N 个线程 = N 倍速率,等于把限速关了 |
client 连接池 |
requests.Session 不是线程安全的 |
多线程抢同一个 Session,随机报错、偶发数据错乱 |
第二点最隐蔽:不能 开一个 HttpClient 让所有线程共用。本讲的解法是「预建 workers 个客户端放进 queue.Queue,谁用谁取、用完还回」------这就是最简单的连接池。注意 finally: pool.put(client):借了不还,池子很快枯竭,然后所有线程卡死在 pool.get() 上,而且表现为「程序不报错、就是不前进」,极难排查。
还有一处刻意的边界划分:
python
def fetch_one(client, book_id):
"""注意这里**只负责拿数据,不负责写库**。
写库集中到主线程做------多个线程抢同一个 SQLite 连接会锁表。"""
并发只用于「网络 IO」,写库放回主线程串行做。 SQLite 的写是全局锁,多线程写只会互相等,还容易撞上 database is locked。要真并发写,得上 PostgreSQL/MySQL,而不是硬怼 SQLite。
五、入库与交付:让 SQL 干活,Python 别掺和
抓到的行统一 upsert 进库(主键去重),然后从库里出两种交付物。统计部分刻意交给 SQL:
python
by_cat = store.query(f"""
SELECT category AS 分类, COUNT(*) AS 数量,
ROUND(AVG(price), 2) AS 均价,
ROUND(AVG(rating), 1) AS 均分,
SUM(stock) AS 总库存
FROM "{TABLE}" GROUP BY category ORDER BY 数量 DESC, 均价 DESC
""")
为什么不把数据读出来再用 Python 算?因为「分组聚合」是数据库最擅长的活 :它不用把几万行搬进内存,还能用索引。在 Python 里写循环做同一件事,又慢又长,还容易写错。能用 SQL 表达的聚合,就别用 Python 重写一遍。
实测交付:
⑥ 交付:明细 + 统计报表
明细 CSV → s20_books.csv(48 行)
统计报表 → s20_图书报表.xlsx(4 张表:明细、分类统计、高分榜、总体)
分类统计(前 5):
分类 数量 均价 均分 总库存
计算机 10 103.69 8.5 1034
历史 10 82.32 8.1 1170
文学 10 65.81 8.3 1427
科普 9 80.23 8.3 881
经济 9 79.64 8.6 1351
总体:48 册,均价 ¥82.44,均分 8.36,总库存 5863
评分第一:《漫谈乡土中国》9.7 分
两种交付物对应两类读者,别搞混:
| 交付物 | 给谁 | 为什么 |
|---|---|---|
s20_books.csv |
别的程序 / 下游流水线 | 结构简单、易解析;用 utf-8-sig 保证 Excel 双击不乱码 |
s20_图书报表.xlsx |
同事 / 业务方 | 多 Sheet、分类汇总,人能直接打开看 |
和上一讲的 s18 对照会有个有趣的一致:两讲的均价都是 ¥82.44、评分第一都是《漫谈乡土中国》 。因为数据源是同一套靶场,不同路径爬到的是同一批书------这也反过来验证了「HTML 列表页」和「JSON 接口」两条路爬到的数据是一致的。
六、工具化:把「场景」变成参数
最后一步是把散落的开关收进 argparse:
python
p = argparse.ArgumentParser(description="图书站点完整爬虫(教学版)")
p.add_argument("--pages", type=int, default=None, help="最多爬几页列表(默认全部)")
p.add_argument("--workers", type=int, default=6, help="并发线程数(默认 6)")
p.add_argument("--interval", type=float, default=0.0,
help="全局请求最小间隔秒数(默认 0,教学靶场不限速)")
p.add_argument("--reset", action="store_true", help="清空数据库和断点状态,从头爬")
p.add_argument("--report-only", action="store_true", help="不爬取,只从数据库导出报表")
注意 --interval 的默认值是 0.0 ,并且有一句关键的注释:「教学靶场不限速」。
把
base_url换成真实站点时,这里是必须改的第一件事。 真实站点上,--interval 0等于「用最快速度去打对方」。上线前应该把默认改成1.0秒起步 (对照目标站robots.txt的Crawl-delay),把「不限速」当成只有靶场才配享有的特权。一个爬虫的默认值,决定了大多数使用者会对目标站做什么。
--interval 的值直接喂给 RateLimiter:
python
limiter = RateLimiter(args.interval)
而这个 limiter 正是第四节里被所有线程共享的那个------「配置」和「并发」两条线在这里接上了:命令行给一个数字,全线程一起遵守。
整套专栏回顾:一条从请求到工程化的主线
20 讲走到这里,把它们串起来看,其实是一条能力递进的主线:
| 阶段 | 讲次 | 你获得的那个「新能力」 |
|---|---|---|
| 请求 | s01 第一个请求 | 用代码发出一个 HTTP 请求,并看懂它是一条不能乱跨的线 |
| s02 靶场导览 | 站点侦察:先摸清有哪些页面、哪些接口 | |
| s03 HTTP 速通 | 读懂响应:状态码、头、Cookie 都是信息 | |
| s04 requests 实战 | 传参 / 头 / 超时 / 重试 / Session / 流式------从「能发」到「稳定发」 | |
| 解析 | s05 BeautifulSoup | 好写的 HTML 解析(注意默认解析器的坑) |
| s06 XPath | 精确、可维护的结构化定位 | |
| s07 JSON 接口与正则 | 有接口就用接口;文本兜底用正则(贪婪 vs 非贪婪) | |
| s08 列表 + 详情 | 把「翻页」和「进详情」组合成第一个完整爬虫 | |
| 存储 | s09 四种存储格式 | CSV / JSON / JSONL / Excel,各自适合谁 |
| s10 SQLite 去重入库 | 主键 + upsert,让「重跑」变成「安全」 | |
| 工程化 | s11 工程化四件套 | 配置、日志、重试、断点------让它像个正经程序 |
| 并发 | s12 异步并发 | asyncio + aiohttp,把 IO 等待叠起来 |
| s16 线程池并发 | 线程池 + 共享限速器 + 连接池 | |
| 登录 | s13 登录与会话保持 | Session 帮你自动带上 Cookie |
| 提交 | s14 表单自动提交 | 带 CSRF token 的表单 POST |
| 动态渲染 | s15 Selenium | 页面是 JS 渲染的?让浏览器替你把 DOM 跑出来 |
| 下载 | s17 图片批量下载 | 流式、消毒、去重、断点------把「下一个文件」做成工程 |
| 可视化 | s18 pandas 分析出图 | 让数据开口说话:统计、出图、报表、人话结论 |
| 反爬 | s19 反爬与应对 | 读懂 robots / 请求头 / 限流,并知道「什么情况不该爬」 |
| 综合 | s20 综合实战 | 把上面全部拼成一个能上线的流水线 |
主线一句话概括:
请求 → 解析 → 存储 → 并发 → 登录 → 提交 → 可视化 → 反爬 → 工程化。
而它和「本地靶场」的关系是:靶场把「不稳定」拿掉了,让你能专心练每一块能力。 每个案例都能离线跑通、输出确定,你才能把注意力放在「这一讲到底在解决什么问题」上。
迁移到真实项目:这条主线要改什么
这套工程搬到真实站点,改动集中在输入和边界,而不是流程:
| 环节 | 靶场现状 | 迁移到真实站点要做的 |
|---|---|---|
| 入口 | LocalSite() 起一个本地端口 |
换成真实 base_url;先读 robots.txt |
| 请求头 | HttpClient 默认浏览器头 |
按目标站调整;同一会话内 UA 保持固定 |
| 限速 | --interval 0(靶场不限速) |
默认改成 1 秒起,对齐 Crawl-delay;被 429 就降频 |
| 解析 | utils.parse 已对齐靶场结构 |
只改这一个文件;真实站点改版时改这里 |
| 列表 | ?page= 分页 |
换成 offset / 滚动加载 / 抓接口,必要时上 Selenium |
| 存储 | 本地 SQLite | 数据量大就换 PostgreSQL/MySQL;图片放对象存储 |
| 增量 | existing_ids + 状态文件 |
逻辑不变,直接复用 |
| 断点 | s20_state.json |
逻辑不变;分布式场景要换成共享存储 |
| 观测 | utils.log |
接上集中日志;加成功率、耗时等指标 |
| 调度 | 手动运行 | 用 cron / 定时任务 / 工作流引擎周期跑增量 |
| 合规 | 靶场无需授权 | 读用户协议、不碰个人信息、不碰登录墙后数据 |
有一条经验值得单独强调:
迁移时,把「改解析」和「改流程」分开做。 先让靶场的流程在真实站点上跑通一条 (哪怕只抓 1 个页面),确认请求头、限速、解析都没问题,再放开量。很多人一上来就把
--workers调到 32、--interval设成 0,结果第一个小时就被封------而封禁的代价,是整条流水线停摆,远大于省下的那点时间。
本讲小结
| 能力 | 一句话要点 |
|---|---|
| 可配置 | 用 argparse 把「场景」变成参数;默认值要按真实站点设,尤其 --interval |
| 可增量 | existing_ids() + 状态文件,已处理的 id 一个请求都不再发 |
| 可并发 | 线程池里共享一个 限速器和一个连接池;Session 不线程安全;写库回主线程 |
| 可恢复 | 状态文件原子写 (.tmp + replace);读配置缺失时给默认值、损坏时降级留痕 |
| 可交付 | CSV 给程序、多 Sheet Excel 给业务;统计交给 SQL,别用 Python 重写聚合 |
| 收口 | 解析进 utils.parse,改版只改一处;配置/日志/重试/断点是最小工程集 |
写在最后
二十讲,从 requests.get(url) 这一行开始,到一个有命令行、能增量、能续传、能出报表的爬虫结束。
如果只能让你带走三句话,我希望是这三句:
第一,技术问题的答案往往在技术之外。 你写不出正确的 XPath,可能是页面结构你根本没看清;你被 429 反复拦,可能不是退避算法不对,而是频率本身就超标。先搞清楚对方是怎么工作的,再决定自己怎么写。
第二,「能跑」和「能上线」之间隔着的是工程,不是算法。 回头看第 20 讲那六道坎------收口解析、增量、并发、断点、交付------没有一件是算法。但正是它们,把一段「跑一次就丢」的脚本,变成了一个「可以交给别人用」的工具。技术专栏里最爱讲的是巧妙的技巧,真正拉开差距的却是这些平淡的工程习惯。
第三,也是最重要的一句:能力有边界,权利更有边界。 你学会了发请求、解析、并发、绕限流,意味着你能做 很多事------但这从来不等于你可以做 很多事。爬之前读 robots.txt、限速、不碰个人信息、不碰登录墙后的数据、不把对方网站打崩。这不是专栏为了免责硬加的尾巴,而是一个技术人能不能长期做这件事的前提。
爬虫的本质,是替人做重复的、机械的、有规律的访问。 它应该让你省下时间去做更需要判断力的事,而不是让你变成一个更高效的骚扰者。
愿你的每一个爬虫,都跑得稳、守得住、对得起被访问的那台服务器。
------ 全专栏完,共 20 讲。