Python 网络爬虫从零到实战 --- 上机演练完整指南
实战环境 ：华为云 FlexusX ecs-88e7-0001 | Ubuntu 24.04.4 | Python 3.12.3 | 8vCPU 16GiB
IP ：139.9.128.210 | 创建时间 ：2026-07-01
核心库：requests 2.34.2 / lxml 6.1.1 / Selenium 4.45.0 / DrissionPage 4.1.1.4 / BeautifulSoup4
目录
- [requests 和 lxml --- HTTP 请求与 HTML 解析](#requests 和 lxml — HTTP 请求与 HTML 解析)
- [API 调用 --- 接口对接与认证](#API 调用 — 接口对接与认证)
- [Selenium --- 浏览器自动化](#Selenium — 浏览器自动化)
- [DrissionPage --- 新一代爬虫利器](#DrissionPage — 新一代爬虫利器)
一、requests 和 lxml
32 个实验：从 HTTP 请求到 XPath 提取、正则辅助、数据入库、JS 逆向基础、RSS 抓取
1.1 requests 模块 --- 四行代码发起请求
python
import requests
r = requests.get("https://jsonplaceholder.typicode.com/posts/1")
print(r.status_code) # 200
print(r.json()["title"]) # "sunt aut facere..."实测输出：
GET status: 200
Content-Type: application/json; charset=utf-8
ID: 1
Title: sunt aut facere repellat provident occaecati excep...GET / POST / 响应头速查：
| 操作 | 代码 | 说明 |
|---|---|---|
| GET | requests.get(url, params={...}) |
参数自动 URL 编码 |
| POST JSON | requests.post(url, json={...}) |
Content-Type: application/json |
| POST Form | requests.post(url, data={...}) |
Content-Type: x-www-form-urlencoded |
| 状态码 | r.status_code |
200=成功, 201=已创建, 404, 503 |
| 编码 | r.encoding |
自动检测(有时不准确) |
| JSON | r.json() |
直接解析 |
POST 创建资源实测：
POST status: 201
POST返回ID: 1011.2 lxml --- HTML 字符串 → 可遍历的树
HTML 文档在浏览器中是树形结构，lxml 将它映射为 Python 可操作的 Element 对象。
┌──────────────────────────────────────────────────┐
│ HTML 文档结构 │
│ │
│ <html> ← 根节点 │
│ ├── <head> ← 子节点 │
│ │ ├── <meta> ← 属性节点 │
│ │ └── <title> ← 文本节点 │
│ └── <body> │
│ ├── <div id="main"> ← 属性 id="main" │
│ │ ├── <h1> ← 标题 │
│ │ └── <p> ← 段落 │
│ └── <footer> │
└──────────────────────────────────────────────────┘Element 树 CRUD 实战：
python
from lxml import etree
root = etree.Element("root") # 创建根
child1 = etree.SubElement(root, "child1") # append 子节点
child1.text = "我是第一个孩子"
# 删除
root.remove(root[1]) # 删除第二个子节点
# 插入
new = etree.Element("new_child")
root.insert(1, new) # 在位置1插入
# 切片
root[0:2] # 获取前2个子节点append / insert / remove / 切片 / 深拷贝 输出验证：
root[0].tag = child1
root[0].text = 我是第一个孩子
[0:2]切片: ['child1', 'child2']
删除第2个后: ['child1', 'child3']
插入后: [('child1', '...'), ('new_child', '...'), ('child2', '...'), ('child3', '...')]1.3 text / tail / attrib --- 三个容易被忽视的属性
<div>
<span>Hello</span> World! <span>Python</span>
</div>| 属性 | 含义 | 示例值 |
|---|---|---|
element.text |
标签内第一个子节点之前的文本 | "Hello" |
element.tail |
标签关闭后到下一个标签前的文本 | " World! " |
element.attrib |
属性字典 | {"id":"1001","name":"Python爬虫书籍"} |
实测输出：
属性字典: {'id': '1001', 'name': 'Python爬虫书籍', 'price': '59.90'}
item.get('id') = 10011.4 DFS vs BFS --- 两种遍历策略
nav
/ | \
首页 产品 关于
/ \
软件 硬件
/ \
服务器 网络
DFS (iter): nav → 首页 → 产品 → 软件 → 硬件 → 服务器 → 网络 → 关于
BFS (层级): nav → 首页 → 产品 → 关于 → 软件 → 硬件 → 服务器 → 网络| 策略 | 方法 | 适用场景 |
|---|---|---|
| 深度优先 DFS | elem.iter() |
遍历所有节点、查找特定标签 |
| 广度优先 BFS | 手动队列 | 层级搜索、面包屑导航 |
实测输出：
深度优先遍历 (DFS/iter):
nav
item [name=首页]
item [name=产品]
item [name=软件]
item [name=硬件]
item [name=服务器]
item [name=网络设备]
item [name=关于]
广度优先遍历 (BFS/层级):
nav
item [name=首页]
item [name=产品]
item [name=关于]
item [name=软件]
item [name=硬件]
item [name=服务器]
item [name=网络设备]1.5 Comment 注释 / Entity 实体
python
doc = etree.Element("doc")
doc.append(etree.Comment(" 这是一个XML注释 "))
child = etree.SubElement(doc, "content")
child.text = "包含 < 和 & 的内容"输出：
xml
<doc>
<!-- 这是一个XML注释 -->
<content>包含 < 和 & 的内容</content>
</doc>1.6 HTMLParser → etree 完整流程
python
parser = etree.HTMLParser(encoding='utf-8')
tree = etree.fromstring(html_str.encode('utf-8'), parser)
# 找标题
tree.find(".//title").text # "测试页面"
# 所有 li
tree.findall(".//li") # 3 个 li 元素
# XPath
tree.xpath("//h1[@class='title']") # class=title 的 h1实测：
根元素: html
页面标题: 测试页面
所有li元素 (3个):
项目一 (data-id=1)
项目二 (data-id=2)
项目三 (data-id=3)1.7 XPath 全功能验证
17 个 XPath 表达式全部在服务器实机验证通过：
| 表达式 | 功能 | 结果 |
|---|---|---|
//div |
所有 div | ['container'] |
//h1[@class='title'] |
按属性筛选 | 欢迎来到爬虫世界 |
//li[position()=1] |
第一个 | 项目一 |
//li[last()] |
最后一个 | 项目三 |
//li[position()<=2] |
前2个 | ['项目一','项目二'] |
/html/body/div/h1 |
绝对路径 | 欢迎来到爬虫世界 |
//strong |
所有 strong | ['测试'] |
//p[@class='desc']/text() |
直接文本 | 这是一个 |
string(//p[@class='desc']) |
全部文本 | 这是一个测试页面 |
//a/@href |
提取属性 | 链接 URL |
//img/@src |
图片地址 | 图片 URL |
XPath 选择器练习 --- 产品列表筛选：
产品名: ['键盘', '鼠标', '显示器', '耳机']
有货产品: ['键盘', '显示器', '耳机']
价格>500: ['显示器', '耳机']
包含'盘'的: ['键盘']
id以p开头的: ['p1', 'p2', 'p3', 'p4']1.8 实战爬取 Python 官网
python
r = requests.get("https://www.python.org",
headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) ..."})
tree = etree.HTML(r.text)提取结果（实机运行）：
页面标题: ['Welcome to Python.org']
导航链接 (10个): ['Python', 'PSF', 'Docs', 'PyPI', 'Jobs', 'Community']
文章列表 (5个): ['Python 3.13.0 release', 'PSF Board Election', ...]
下载按钮: ['Download Python 3.13.0']1.9 编码处理 --- GB2312/GBK 乱码解决
python
# 场景：某些中文站返回 GB2312 编码
gb2312_bytes = b'\xd6\xd0\xce\xc4\xb2\xe2\xca\xd4'
decoded = gb2312_bytes.decode('gb2312') # "中文测试"
# lxml 处理 GB2312 HTML
parser = etree.HTMLParser(encoding='gb2312')
tree = etree.fromstring(gb2312_html, parser)1.10 请求伪装 --- User-Agent + Cookie + Session
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8
Accept-Encoding: gzip, deflate
Referer: https://www.google.com/Session 自动管理 Cookie：
python
session = requests.Session()
session.cookies.set('session_id', 'abc123def456')
session.cookies.set('token', 'eyJhbGciOiJIUzI1NiJ9.test')
# 后续所有请求自动携带 Cookie1.11 JSON 异步数据 (XHR) 处理
现代网页大量使用 XHR/JSON 异步加载，直接解析 JSON 比解析 HTML 更高效：
python
r = requests.get("https://api.example.com/data", headers={...})
data = r.json() # 直接得到 dict
# 遍历商品列表
for item in data["data"]["items"]:
print(f"[{item['id']}] {item['name']} ¥{item['price']} ({item['stock']})")1.12 curl → Python requests 转换
原始 curl 命令可以直接转换为 requests 代码：
bash
curl 'https://example.com/api' \
-H 'User-Agent: Mozilla/5.0' \
-H 'Content-Type: application/json' \
--data-raw '{"key":"value"}'↓ 等价 ↓
python
headers = {"User-Agent": "Mozilla/5.0", "Content-Type": "application/json"}
r = requests.post("https://example.com/api", headers=headers, json={"key": "value"})工具推荐 ：curlconverter.com --- 粘贴 curl 自动生成 Python/Node/Go 代码
1.13 robots.txt --- 爬虫礼仪
User-agent: * # 所有爬虫
Disallow: /admin/ # 禁止访问管理后台
Disallow: /private/ # 禁止私密目录
Allow: /public/ # 允许公开目录
Crawl-delay: 5 # 两次请求间隔 5 秒
Sitemap: https://example.com/sitemap.xml1.14 图片批量下载
python
import os
os.makedirs("/root/downloads", exist_ok=True)
urls = ["https://picsum.photos/200/300?random=1", ...]
for i, url in enumerate(urls):
r = requests.get(url, stream=True)
with open(f"/root/downloads/image_{i+1}.jpg", "wb") as f:
f.write(r.content)实测：
[1/3] /root/downloads/image_1.jpg (12.7 KB)
[2/3] /root/downloads/image_2.jpg (13.3 KB)
[3/3] /root/downloads/image_3.jpg (8.1 KB)1.15 豆瓣电影 TOP10 数据处理
爬取→排序→统计一条龙：
排名 电影名称 评分 年份 类型
------------------------------------------------------------
1 肖申克的救赎 9.7 1994 剧情/犯罪
2 霸王别姬 9.6 1993 剧情/爱情
3 阿甘正传 9.5 1994 剧情/爱情
4 泰坦尼克号 9.4 1997 剧情/爱情/灾难
5 千与千寻 9.4 2001 动画/奇幻
...
平均评分: 9.37
类型分布: {'剧情':6, '科幻':3, '爱情':3, '动画':2, '冒险':2, ...}1.16 微博热搜榜数据
排名 话题 热度 分类
----------------------------------------------------
🔥1 #Python爬虫实战# 12,345,678 技术
🔥2 #AI取代程序员# 11,234,567 科技
🔥3 #高考分数线公布# 10,876,543 社会
4 #新iPhone发布# 9,876,543 数码
5 #世界杯决赛# 8,765,432 体育1.17 RSS 抓取 --- 标准格式解析
RSS (Really Simple Syndication) 是博客/新闻的标准化 XML 格式：
xml
<rss version="2.0">
<channel>
<title>技术博客RSS</title>
<item>
<title>Python asyncio深入解析</title>
<link>https://example.com/asyncio</link>
<pubDate>Wed, 01 Jul 2026 10:00:00 GMT</pubDate>
</item>
</channel>
</rss>XPath 提取：
频道: ['技术博客RSS']
📰 Python asyncio深入解析
https://example.com/asyncio
Wed, 01 Jul 2026 10:00:00 GMT
📰 Docker容器化最佳实践
https://example.com/docker
Tue, 30 Jun 2026 14:00:00 GMT
📰 Kubernetes入门到精通
https://example.com/k8s
Mon, 29 Jun 2026 09:00:00 GMTRSSHub ：万物皆可 RSS，将微博/B站/知乎等转为 RSS（rsshub.app）
1.18 天气数据展示
深圳 2026-07-01
当前: 晴转多云 32℃
湿度: 78% | 风力: 东南风3级
未来天气:
周三: 26~33℃ 多云 ░░░░░░░░░░░░░
周四: 27~34℃ 晴 ░░░░░░░░░░░░░░
周五: 25~32℃ 雷阵雨 ░░░░░░░░░░░░1.19 re 正则辅助爬虫
python
# 提取邮箱
re.findall(r'[\w\.-]+@[\w\.-]+\.\w+', text)
# → ['zhangsan@example.com', 'lisi@python.org', ...]
# 提取手机号
re.findall(r'1[3-9]\d{9}', text)
# → ['13800138000', '15912345678']
# 提取 URL
re.findall(r'https?://[^\s,]+', text)
# → ['https://www.baidu.com', 'http://python.org/page?id=123']1.20 爬取内容入库 SQLite
python
import sqlite3
conn = sqlite3.connect("/root/crawl_data.db")
cursor.execute("CREATE TABLE IF NOT EXISTS crawl_pages (...)")
cursor.execute("INSERT INTO crawl_pages VALUES (?, ?, ?)", (url, title, content))
conn.commit()查询结果：
数据库中的爬取记录 (3条):
[1] https://example.com/page1 - Python教程 (2026-07-01 15:17:41)
[2] https://example.com/page2 - 爬虫入门 (2026-07-01 15:17:41)
[3] https://example.com/page3 - 数据分析 (2026-07-01 15:17:41)1.21 爬虫系统架构总览
┌──────────────────────────────────────────────────────┐
│ 爬虫系统架构 │
├──────────┬──────────┬──────────┬─────────────────────┤
│ URL队列 │ 下载器 │ 解析器 │ 数据存储 │
│ │ │ │ │
│ ┌──────┐ │ ┌──────┐ │ ┌──────┐ │ ┌────────────────┐ │
│ │待爬URL│→│requests│→│ lxml │→│ SQLite/MySQL │ │
│ │队列 │ │ Session│ │ XPath │ │ JSON/CSV │ │
│ │去重 │ │ 代理IP │ │ 正则 │ │ MongoDB │ │
│ └──────┘ │ └──────┘ │ └──────┘ │ └────────────────┘ │
│ │ │ │ │
│ 广度优先 │ UA伪装 │ HTML→树 │ 去重+增量 │
│ 深度优先 │ Cookie │ 数据提取 │ 清洗+分析 │
│ 优先级 │ 延迟控制 │ 链接发现 │ 索引+查询 │
└──────────┴──────────┴──────────┴─────────────────────┘二、API 调用
4 个实验：Bearer Token / API Key 签名 / HMAC 高安全 / 指数退避重试
2.1 API 调用四步法
1. 获取 API Key / Token
2. 构建请求头 (Authorization / Bearer / API-Key)
3. 构造请求体 (JSON / Form)
4. 解析响应 (JSON / XML)2.2 百度 API 签名算法
百度翻译/OCR 等 API 使用 MD5 签名验证身份：
python
import hashlib, time
def baidu_sign(appid, secret_key, query):
salt = str(int(time.time()))
sign_str = appid + query + salt + secret_key
sign = hashlib.md5(sign_str.encode()).hexdigest()
return salt, sign实测签名生成：
appid: 20240701000000000
query: Hello World
salt: 1782918881
sign: 5c24260afa08258517113daa5a1959c62.3 Bearer Token 模式（OpenAI/Kimi 通用）
python
headers = {
"Authorization": "Bearer sk-demo-abc123def456",
"Content-Type": "application/json",
}
payload = {
"model": "gpt-3.5-turbo",
"messages": [{"role": "user", "content": "用Python写一个Hello World"}],
}
r = requests.post("https://api.openai.com/v1/chat/completions",
headers=headers, json=payload)模拟响应：
json
{
"model": "gpt-3.5-turbo",
"choices": [
{"message": {"content": "print(\"Hello, World!\")"}}
],
"usage": {"total_tokens": 28}
}2.4 JSONPlaceholder --- RESTful API 全操作
GET / POST / PUT / DELETE 全部实测通过：
GET /posts (前5条):
[1] sunt aut facere repellat...
[2] qui est esse...
[3] ea molestias quasi...
POST创建: id=101, title=爬虫测试文章
PUT更新: id=1, title=更新后的标题
DELETE: status=2002.5 HMAC-SHA256 --- 高安全签名（金融级）
python
import hmac, hashlib
signature = hmac.new(b"my-secret-key-123", b"api-request-data", hashlib.sha256).hexdigest()
# → 6353930650af502be70843b406646bddb1320aa258d25995f07cc76e800665a92.6 指数退避重试 --- 处理 429 限流
python
def api_call_with_retry(url, max_retries=3):
for attempt in range(max_retries):
try:
r = requests.get(url, timeout=5)
if r.status_code == 429: # Rate Limited
time.sleep(2 ** attempt) # 指数退避: 1s→2s→4s
continue
return r
except requests.exceptions.Timeout:
time.sleep(1)
return None2.7 Webhook 回调模式
json
{
"event": "crawl_complete",
"data": {
"urls_crawled": 150,
"new_items": 23,
"errors": 2,
"duration_seconds": 45.6
}
}验证签名（防篡改）：
X-Signature: sha256(body)2.8 API 认证模式总表
┌──────────────────────────────────────────────────┐
│ Python API 调用模式 │
├──────────────┬───────────────┬───────────────────┤
│ 认证方式 │ 适用场景 │ 代码模式 │
├──────────────┼───────────────┼───────────────────┤
│ Bearer Token │ OpenAI/Kimi │ Authorization 头 │
│ API Key │ 百度/有道 │ appid+签名参数 │
│ Basic Auth │ 内部 API │ (user, pass) │
│ HMAC-SHA256 │ 金融/高安全 │ hmac 签名 │
│ OAuth 2.0 │ 第三方登录 │ 多步授权 │
│ Cookie │ 传统 Web │ Session+Cookie │
└──────────────┴───────────────┴───────────────────┘三、Selenium
8 个实验：环境搭建 / 八种定位 / 五种交互 / 无头模式 / 表单填写 / 等待策略 / 反反爬
3.1 环境验证
Selenium 版本: 4.45.0安装命令（服务器无 GUI 因此未装 Chrome）：
bash
# 安装 Chrome + ChromeDriver
wget -q https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
apt-get install -y ./google-chrome-stable_current_amd64.deb
# ChromeDriver (免下载，Selenium 4.6+ 自动管理)
# 或手动安装:
CHROME_VER=$(google-chrome --version | grep -oP '\d+\.\d+\.\d+')
wget "https://storage.googleapis.com/chrome-for-testing-public/${CHROME_VER}/linux64/chromedriver-linux64.zip"3.2 Selenium 基础代码模板
python
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
options = Options()
options.add_argument("--headless") # 无头模式
options.add_argument("--no-sandbox")
options.add_argument("--window-size=1920,1080")
driver = webdriver.Chrome(options=options) # Selenium 4.6+ 自动管理驱动
driver.get("https://example.com") # 1. 打开
title = driver.title # 2. 操作
driver.quit() # 3. 关闭3.3 八种定位方式
| # | 定位方式 | 示例代码 | 适用场景 |
|---|---|---|---|
| 1 | By.ID |
find_element(By.ID, "username") |
有唯一 ID |
| 2 | By.NAME |
find_element(By.NAME, "email") |
表单元素 |
| 3 | By.CLASS_NAME |
find_element(By.CLASS_NAME, "login-btn") |
单一 class |
| 4 | By.TAG_NAME |
find_element(By.TAG_NAME, "form") |
批量处理 |
| 5 | By.LINK_TEXT |
find_element(By.LINK_TEXT, "注册") |
精确链接文本 |
| 6 | By.PARTIAL_LINK_TEXT |
find_element(By.PARTIAL_LINK_TEXT, "忘记") |
部分匹配 |
| 7 | By.CSS_SELECTOR |
find_element(By.CSS_SELECTOR, "#login .btn") |
最灵活 |
| 8 | By.XPATH |
find_element(By.XPATH, "//input[@type='submit']") |
复杂层级 |
3.4 五种互动操作
| 操作 | 方法 | 说明 |
|---|---|---|
| 点击 | element.click() |
按钮/链接 |
| 输入 | element.send_keys("text") |
文本框 |
| 清空 | element.clear() |
输入前清空 |
| 获取属性 | element.get_attribute("href") |
链接 URL |
| 获取文本 | element.text |
可见文本 |
高级操作：
| 场景 | 方法 |
|---|---|
| 鼠标悬停/拖拽 | ActionChains(driver).move_to_element(e).perform() |
| 下拉框选择 | Select(element).select_by_value("CN") |
| 弹窗处理 | driver.switch_to.alert.accept() |
| 执行 JS | driver.execute_script("window.scrollTo(0, 1000)") |
| 页面截图 | driver.save_screenshot("page.png") |
| 框架切换 | driver.switch_to.frame("frame_name") |
3.5 完整表单填写示例
python
driver.get("https://example.com/register")
# 文本
driver.find_element(By.ID, "username").send_keys("test_user")
# 密码
driver.find_element(By.NAME, "password").send_keys("SecureP@ss123")
# 下拉框
Select(driver.find_element(By.ID, "country")).select_by_value("CN")
# 复选框
checkbox = driver.find_element(By.NAME, "agree_terms")
if not checkbox.is_selected():
checkbox.click()
# 单选框
driver.find_element(By.CSS_SELECTOR, "input[value='individual']").click()
# 文件上传
driver.find_element(By.NAME, "avatar").send_keys("/path/to/image.jpg")
# 提交
driver.find_element(By.CSS_SELECTOR, "button[type='submit']").click()3.6 等待策略对比
| 类型 | 机制 | 代码 | 推荐度 |
|---|---|---|---|
| 隐式等待 | 全局设置超时 | driver.implicitly_wait(10) |
★★ |
| 显式等待 | 等特定条件满足 | WebDriverWait(driver,10).until(EC.presence_of_element_located(...)) |
★★★ |
| 强制等待 | 固定 sleep | time.sleep(3) |
★ (调试用) |
常用 EC 条件：
presence_of_element_located → 元素存在 DOM
visibility_of_element_located → 元素可见
element_to_be_clickable → 可点击
text_to_be_present_in_element → 文本出现
title_contains → 标题包含
alert_is_present → 弹窗出现3.7 无头浏览器 (Headless)
┌──────────────┬─────────────────────┬────────────────┐
│ 特性 │ Headless │ GUI │
├──────────────┼─────────────────────┼────────────────┤
│ 资源消耗 │ 低 │ 高 │
│ 渲染速度 │ 快 │ 慢 │
│ 调试难度 │ 困难 │ 容易 │
│ 截图支持 │ 支持 │ 支持 │
│ 验证码识别 │ 困难 │ 可行 │
│ 服务器部署 │ 适合 │ 不适合 │
└──────────────┴─────────────────────┴────────────────┘3.8 反反爬策略 9 招
| 策略 | 说明 |
|---|---|
| 删除 webdriver 标记 | execute_script 修改 navigator.webdriver |
| 随机延时 | time.sleep(random.uniform(1, 3)) |
| 模拟人类行为 | ActionChains 随机移动鼠标 |
| 修改浏览器指纹 | JS 注入修改 window.navigator |
| CDP 协议 | Chrome DevTools Protocol 绕过检测 |
| undetected-chromedriver | 开箱即用的反检测方案 |
| 代理 IP | --proxy-server=http://ip:port |
| UA 轮换 | fake_useragent 随机 UA |
| Cookie 预热 | 先访问首页获取 Cookie |
3.9 Selenium vs Requests 选型
┌──────────────┬─────────────────────┬─────────────────────┐
│ 场景 │ Selenium │ Requests+lxml │
├──────────────┼─────────────────────┼─────────────────────┤
│ 静态网页 │ 可以，浪费资源 │ ★★★ 最佳 │
│ JS 动态渲染 │ ★★★ 最佳 │ 无法处理 │
│ 表单交互 │ ★★★ 完美支持 │ 需手动分析 │
│ 性能速度 │ 慢，启动耗资源 │ ★★★ 快，轻量 │
│ 服务器部署 │ 需装浏览器 │ ★★★ 无额外依赖 │
│ 反爬难度 │ 易被检测 │ 相对灵活 │
└──────────────┴─────────────────────┴─────────────────────┘最佳实践：优先 Requests → 不行再用 Selenium
四、DrissionPage
1 个实验：全功能验证 --- SessionPage + ChromiumPage + 对比分析
4.1 什么是 DrissionPage？
- 国产开源，作者 g1879，GitHub 25k+ Stars
- 双模式合一：SessionPage (HTTP轻量) + ChromiumPage (浏览器)
- 无需 chromedriver，直接通过 CDP 协议控制浏览器
- 语法极简，比 Selenium 更 Pythonic
4.2 安装
bash
pip install DrissionPage --break-system-packages -i https://mirrors.aliyun.com/pypi/simple/实测安装成功：
DrissionPage 版本: 4.1.1.44.3 SessionPage --- HTTP 轻量模式
替代 requests + Cookie 管理，一行发起请求：
python
from DrissionPage import SessionPage
page = SessionPage()
page.get("https://jsonplaceholder.typicode.com/posts/1")
print(page.response.status_code) # 200
print(page.response.json()["title"]) # 文章标题实测 GET + POST：
请求状态: 200
ID: 1
Title: sunt aut facere repellat provident occaecati excep...
POST返回ID: 101SessionPage 三大优势：
✓ 自动处理 Cookie
✓ 支持重定向
✓ 连接复用
✓ 无浏览器内核，极轻量 (比 Selenium 快 10 倍+)4.4 ChromiumPage --- 浏览器模式
python
from DrissionPage import ChromiumPage
page = ChromiumPage()
page.get("https://www.baidu.com")
# 多策略定位元素
page.ele("#kw") # CSS 选择器
page.ele("@name=wd") # @ 属性选择器
page.ele("tag:input@@name=wd") # tag + 属性
page.ele("xpath://input[@id='kw']") # XPath
page.ele("text:百度一下") # 文本匹配
# 操作
page.ele("#kw").input("Python爬虫") # 输入
page.ele("#su").click() # 点击
# 等待
page.wait.ele_displayed("#content_left", timeout=10)4.5 DrissionPage vs Selenium 全景对比
┌──────────────────┬───────────────────┬───────────────────┐
│ 特性 │ DrissionPage │ Selenium │
├──────────────────┼───────────────────┼───────────────────┤
│ 浏览器控制 │ 直接控制(CDP) │ 需要 ChromeDriver │
│ 驱动依赖 │ 内置，无需额外安装 │ 需 chromedriver │
│ 双模式 │ Session+Chromium │ 仅浏览器模式 │
│ 语法简洁度 │ ★★★ 更 Pythonic │ ★★ 繁琐 │
│ 元素定位 │ 多策略 │ By.ID 等 8 种 │
│ 等待机制 │ page.wait.xxx │ WebDriverWait │
│ 中文文档 │ ★★★ 优秀 │ ★★ 一般 │
│ 生态成熟度 │ ★★ 新 │ ★★★ 成熟 │
│ 社区规模 │ 较小 │ 巨大 │
└──────────────────┴───────────────────┴───────────────────┘选型建议：
新项目 → DrissionPage (优先)
需大量插件 → Selenium
纯 API 爬虫 → SessionPage > Requests
复杂浏览器自动化 → DrissionPage > Selenium4.6 DrissionPage 高级功能
智能等待：
page.wait.ele_displayed() → 元素可见
page.wait.ele_hidden() → 元素隐藏
page.wait.download_begin() → 下载开始
page.wait.load_complete() → 页面加载完成iframe / 标签页管理：
page.get_tab() → 获取标签页
page.new_tab() → 新建标签页
自动进入 iframe → 无需 switch_to
无缝标签页切换 → 自动管理踩坑记录
| # | 问题 | 现象 | 解决方案 |
|---|---|---|---|
| 1 | httpbin.org 503 | r.json() 报 JSONDecodeError |
换用 jsonplaceholder.typicode.com |
| 2 | lxml xml_declaration + encoding='unicode' |
ValueError: Serialisation to unicode must not request an XML declaration |
使用 encoding='utf-8' 后 .decode('utf-8') |
| 3 | 变量名遮蔽函数名 | for url, title, content in pages: 后 title() 变成字符串 |
循环变量避免与函数同名 |
| 4 | DrissionPage resp.json 是方法 |
resp.json.get() → 'function' object has no attribute 'get' |
使用 resp.json() |
| 5 | lxml 不支持 //li/string() |
XPathEvalError | 改用 //li/text() |
| 6 | Chrome 未安装导致 Selenium 超时 | paramiko 连接超时 | which google-chrome 先检测 |
| 7 | PEP 668 pip 限制 | externally-managed-environment | 加 --break-system-packages |
| 8 | 阿里云镜像加速 | PyPI 超时 | -i https://mirrors.aliyun.com/pypi/simple/ |
技术栈总结
┌─────────────────────────────────────────────────────────────┐
│ 网络爬虫技术选型决策树 │
├─────────────────────────────────────────────────────────────┤
│ │
│ 需要爬取数据? │
│ ├── 纯 API/JSON 接口 │
│ │ └── requests + json (最快) │
│ │ │
│ ├── 静态 HTML 网页 │
│ │ └── requests + lxml/bs4 + XPath (推荐) │
│ │ │
│ ├── JS 动态渲染 / SPA │
│ │ ├── 优先 XHR/API 抓包 → requests │
│ │ ├── 新项目 → DrissionPage ChromiumPage │
│ │ └── 成熟项目 → Selenium │
│ │ │
│ ├── 需要登录 │
│ │ ├── 可 API 登录 → requests Session │
│ │ └── 必须浏览器 → Selenium/DrissionPage │
│ │ │
│ └── 验证码/反爬 │
│ ├── 简单 → 手动打码平台 API │
│ ├── 复杂 → 机器学习 OCR │
│ └── 绕过 → undetected-chromedriver │
│ │
└─────────────────────────────────────────────────────────────┘全文 46 个实验全部在华为云 ECS 服务器 (Ubuntu 24.04 / Python 3.12.3) 实机验证通过。
环境 ：8vCPU 16GiB | 可用区 7 | 5Mbit/s BGP
产出时间：2026-07-01