DrissionPage 从入门到实战：一站式Python爬虫与网页自动化教程

文章目录

- 前言
[一、DrissionPage 简介](#一、DrissionPage 简介)
- [1\.1 DrissionPage 是什么？](#1.1 DrissionPage 是什么？)
- [1\.2 DrissionPage 的核心功能与核心优势](#1.2 DrissionPage 的核心功能与核心优势)
- - 核心功能
  - 核心优势
- [1\.3 DrissionPage 主流使用场景](#1.3 DrissionPage 主流使用场景)
- [1\.4 DrissionPage 与其他爬虫库的对比](#1.4 DrissionPage 与其他爬虫库的对比)
- [1\.5 DrissionPage 详细安装与环境配置（Windows/Linux/Mac）](#1.5 DrissionPage 详细安装与环境配置（Windows/Linux/Mac）)
- - 环境要求
  - 安装步骤
[二、DrissionPage 核心常用类与方法（超详细）](#二、DrissionPage 核心常用类与方法（超详细）)
- [2\.1 DrissionPage 核心常用类详解](#2.1 DrissionPage 核心常用类详解)
- - [2\.1\.1 WebPage 类（最推荐）](#2.1.1 WebPage 类（最推荐）)
  - [2\.1\.2 SessionPage 类](#2.1.2 SessionPage 类)
  - [2\.1\.3 ChromiumPage 类](#2.1.3 ChromiumPage 类)
  - [2\.1\.4 Element 类](#2.1.4 Element 类)
- [2\.2 DrissionPage 核心常用方法详解](#2.2 DrissionPage 核心常用方法详解)
- - [2\.2\.1 页面访问：get\(\) 方法](#2.2.1 页面访问：get\(\) 方法)
  - [2\.2\.2 元素定位：ele\(\) 方法](#2.2.2 元素定位：ele\(\) 方法)
  - [2\.2\.3 批量元素定位：eles\(\) 方法](#2.2.3 批量元素定位：eles\(\) 方法)
  - [2\.2\.4 元素点击：click\(\) 方法](#2.2.4 元素点击：click\(\) 方法)
  - [2\.2\.5 文本输入：input\(\) 方法](#2.2.5 文本输入：input\(\) 方法)
  - [2\.2\.6 执行JS代码：run\_js\(\) 方法](#2.2.6 执行JS代码：run_js\(\) 方法)
[三、DrissionPage 零基础入门](#三、DrissionPage 零基础入门)
- [3\.1 第一个DrissionPage爬虫程序（快速启动项目）](#3.1 第一个DrissionPage爬虫程序（快速启动项目）)
- [3\.2 静态网页基础请求操作（GET/POST请求使用）](#3.2 静态网页基础请求操作（GET/POST请求使用）)
- [3\.3 网页基础元素解析（文本、链接、图片、标签获取）](#3.3 网页基础元素解析（文本、链接、图片、标签获取）)
- [3\.4 基础页面遍历与数据提取技巧](#3.4 基础页面遍历与数据提取技巧)
- [3\.5 入门阶段常见基础报错与快速解决办法](#3.5 入门阶段常见基础报错与快速解决办法)
[四、DrissionPage 进阶核心技巧](#四、DrissionPage 进阶核心技巧)
- [4\.1 动态网页渲染与JS加载数据抓取](#4.1 动态网页渲染与JS加载数据抓取)
- [4\.2 精准元素定位技巧（css/xpath/文本匹配）](#4.2 精准元素定位技巧（css/xpath/文本匹配）)
- - 多维度定位方式
  - 层级定位技巧
- [4\.3 表单自动填写、点击、翻页自动化操作](#4.3 表单自动填写、点击、翻页自动化操作)
- - 完整表单提交示例
  - 翻页循环抓取
- [4\.4 爬虫请求头、Cookie、代理配置](#4.4 爬虫请求头、Cookie、代理配置)
- [4\.5 数据清洗、去重、批量保存（txt/csv/json）](#4.5 数据清洗、去重、批量保存（txt/csv/json）)
- - 保存为JSON文件
  - 数据去重技巧
- [4\.6 进阶开发高频问题优化方案](#4.6 进阶开发高频问题优化方案)
[五、DrissionPage 高级实战与反爬处理](#五、DrissionPage 高级实战与反爬处理)
- [5\.1 常见基础反爬机制绕过（UA校验、简单Cookie校验）](#5.1 常见基础反爬机制绕过（UA校验、简单Cookie校验）)
- - 随机UA轮换
  - 请求频率控制
- [5\.2 滑块验证码、弹窗拦截、人机验证处理方案](#5.2 滑块验证码、弹窗拦截、人机验证处理方案)
- - 弹窗与广告关闭
  - 滑块验证码处理思路
- [5\.3 多线程/异步爬虫高性能抓取优化](#5.3 多线程/异步爬虫高性能抓取优化)
- [5\.4 无头模式、静默运行、防检测配置](#5.4 无头模式、静默运行、防检测配置)
- - 无头模式（后台运行，不显示浏览器窗口）
  - 浏览器防检测配置
- [5\.5 大规模爬虫稳定性优化与异常重试机制](#5.5 大规模爬虫稳定性优化与异常重试机制)
- - 通用重试装饰器
  - 断点续爬实现
- [5\.6 企业级完整爬虫项目实战（全站数据抓取落地）](#5.6 企业级完整爬虫项目实战（全站数据抓取落地）)
- - 项目需求：电商网站商品信息采集
[六、DrissionPage 爬虫常见报错与全套避坑指南](#六、DrissionPage 爬虫常见报错与全套避坑指南)
- [6\.1 环境安装与启动报错汇总解决](#6.1 环境安装与启动报错汇总解决)
- [6\.2 页面加载失败、元素找不到问题排查](#6.2 页面加载失败、元素找不到问题排查)
- [6\.3 反爬封禁、请求超时、连接异常处理](#6.3 反爬封禁、请求超时、连接异常处理)
- [6\.4 数据抓取错乱、漏抓、重复抓取问题优化](#6.4 数据抓取错乱、漏抓、重复抓取问题优化)
七、全文总结与进阶学习拓展
- [7\.1 DrissionPage核心知识点全文复盘](#7.1 DrissionPage核心知识点全文复盘)
- [7\.2 爬虫学习进阶方向](#7.2 爬虫学习进阶方向)
- [7\.3 项目开发规范与爬虫合规使用须知](#7.3 项目开发规范与爬虫合规使用须知)

前言

在Python爬虫与网页自动化领域，我们常常面临两难选择：用Requests轻量高效但无法处理动态渲染页面，用Selenium/Playwright能操作浏览器但配置繁琐、性能偏低。DrissionPage 作为一款国人开发的全能型网页工具库，完美解决了这一痛点------它基于Chromium内核，无需手动配置驱动，同时兼容「HTTP请求模式」与「浏览器自动化模式」，语法简洁、上手极快，既能胜任轻量数据爬取，也能应对复杂的动态网页与反爬场景。

本文将从基础概念、环境搭建入手，循序渐进讲解DrissionPage的核心语法、实战技巧与反爬方案，带你从零掌握这款高效工具。全文包含大量可直接运行的代码示例与避坑指南，适合爬虫初学者、自动化测试工程师与RPA开发人员收藏学习。

一、DrissionPage 简介

1.1 DrissionPage 是什么？

DrissionPage 是一款基于 Python 开发的网页自动化与数据采集综合工具库，底层基于 Chromium 浏览器内核与 HTTP 请求机制，整合了「浏览器模拟」与「接口请求」两大能力。

它最大的特点是零驱动配置------无需手动下载匹配Chrome版本的Chromedriver，程序会自动管理浏览器内核；同时支持双模式无缝切换：既可以用轻量的HTTP模式爬取静态页面，也可以用浏览器模式渲染JS、操作页面元素，一套语法覆盖绝大多数爬虫与自动化场景。

1.2 DrissionPage 的核心功能与核心优势

核心功能

网页数据采集：支持静态/动态页面数据提取，兼容CSS、XPath等多种定位方式
网页自动化操作：模拟点击、输入、滚动、表单提交、文件上传等所有人工操作
会话管理：自动维持Cookie、会话状态，支持跨页面数据共享
反爬适配：内置浏览器指纹伪装、无头模式、代理IP等多种反爬绕过能力
双模式切换：HTTP请求模式（轻量高速）与浏览器渲染模式（兼容动态页面）一键切换

核心优势

零配置启动：自动下载管理Chromium内核，无需手动配置驱动，开箱即用
语法简洁易懂：API设计人性化，相比Selenium代码量减少50%以上
性能更优异：HTTP模式媲美Requests速度，浏览器模式内存占用远低于Selenium
元素定位强大：支持CSS、XPath、文本匹配、属性过滤等多种定位方式，容错率高
国产文档完善：官方中文文档详尽，社区活跃，问题解决效率高

1.3 DrissionPage 主流使用场景

通用数据爬虫：新闻资讯、电商商品、公开数据等静态/动态网站数据采集
网页自动化测试：Web应用功能测试、回归测试、页面交互自动化
批量表单处理：批量账号注册、信息提交、数据录入等重复性操作
网页状态监控：网站可用性监控、内容更新提醒、价格监控
RPA办公自动化：网页端办公流程自动化，替代人工重复操作

1.4 DrissionPage 与其他爬虫库的对比

对比维度	Requests	Selenium	Playwright	DrissionPage
驱动依赖	无	需手动匹配驱动	需安装浏览器驱动	自动管理，无需配置
动态页面支持	❌ 不支持	✅ 完整支持	✅ 完整支持	✅ 完整支持
运行性能	⭐⭐⭐⭐⭐ 极快	⭐⭐ 慢	⭐⭐⭐ 中等	⭐⭐⭐⭐ 较快
语法复杂度	简单	繁琐	中等	极简
反爬绕过能力	弱（仅请求头伪装）	中等（易被检测）	强	强（内置指纹伪装）
内存占用	极低	极高	高	中等偏低
适用场景	纯静态接口爬取	复杂自动化测试	大型自动化项目	爬虫+轻量自动化

1.5 DrissionPage 详细安装与环境配置（Windows/Linux/Mac）

环境要求

Python 3.7 及以上版本
系统支持 Windows / macOS / Linux

安装步骤

执行pip安装命令

Bash 复制代码

pip install DrissionPage

国内用户建议使用清华源加速：

Bash 复制代码

pip install DrissionPage -i https://pypi.tuna.tsinghua.edu.cn/simple

验证安装是否成功

python 复制代码

import DrissionPage
print(DrissionPage.__version__)  # 输出版本号即安装成功

首次运行说明
首次启动浏览器模式时，程序会自动下载匹配的Chromium内核，无需手动干预；若网络不佳，也可手动指定本地Chrome浏览器路径。

二、DrissionPage 核心常用类与方法（超详细）

2.1 DrissionPage 核心常用类详解

2.1.1 WebPage 类（最推荐）

作用：双模式核心类，同时集成HTTP请求模式与浏览器渲染模式，可无缝切换
适用场景：绝大多数爬虫与自动化场景，一套代码兼顾效率与兼容性，新手首选

2.1.2 SessionPage 类

作用：纯HTTP请求模式类，基于requests封装，速度快、占用资源少
适用场景：纯静态页面、接口数据爬取，无需浏览器渲染的场景

2.1.3 ChromiumPage 类

作用：纯浏览器自动化类，完整模拟浏览器操作，支持所有JS渲染页面
适用场景：复杂动态页面、需要人工交互的场景、强反爬网站

2.1.4 Element 类

作用：页面元素对象类，代表页面中的一个标签元素，封装了元素的所有操作方法
适用场景：元素定位后，进行点击、输入、提取属性等具体操作

2.2 DrissionPage 核心常用方法详解

所有方法均遵循统一讲解维度：函数作用、函数语法、参数详解、返回值、适用场景、代码示例

2.2.1 页面访问：get() 方法

函数作用：访问指定URL的网页，是所有页面操作的入口
函数语法 ：page.get(url, show_errmsg=False, retry=0, interval=1, timeout=None)
参数详解：
- url：字符串类型，要访问的网页地址
- retry：整数，访问失败时的重试次数，默认0
- interval：整数，重试间隔时间（秒），默认1
- timeout：整数，页面加载超时时间（秒），默认使用全局配置
返回值：布尔值，访问成功返回True，失败返回False
适用场景：所有页面访问场景，是爬虫程序的第一步
代码示例：

python 复制代码

from DrissionPage import WebPage

page = WebPage()
# 访问百度首页
success = page.get('https://www.baidu.com')
print(success)  # 输出 True
page.quit()  # 关闭浏览器

2.2.2 元素定位：ele() 方法

函数作用：定位页面中第一个符合条件的元素
函数语法 ：page.ele(locator, timeout=None, index=1)
参数详解：
- locator：字符串，定位规则，支持CSS选择器、XPath、文本匹配等
- timeout：整数，等待元素出现的超时时间（秒）
- index：整数，获取第几个匹配的元素，默认1（第一个）
返回值：Element对象，定位失败返回None
适用场景：单个元素定位，如按钮、输入框、标题等
代码示例：

python 复制代码

# 通过CSS选择器定位id为kw的输入框
input_ele = page.ele('#kw')
# 通过XPath定位
input_ele = page.ele('//input[@id="kw"]')
# 通过文本内容定位
search_btn = page.ele('text:百度一下')

2.2.3 批量元素定位：eles() 方法

函数作用：定位页面中所有符合条件的元素，返回元素列表
函数语法 ：page.eles(locator, timeout=None)
参数详解：
- locator：字符串，定位规则，同ele()方法
- timeout：整数，等待超时时间
返回值：Element对象列表，无匹配时返回空列表
适用场景：批量数据提取，如列表页所有商品、所有标题
代码示例：

python 复制代码

# 获取页面所有a标签
all_links = page.eles('tag:a')
# 遍历提取所有链接文本和地址
for link in all_links:
    print(link.text, link.attr('href'))

2.2.4 元素点击：click() 方法

函数作用：模拟鼠标点击指定元素
函数语法 ：element.click(by_js=False, timeout=None)
参数详解：
- by_js：布尔值，是否通过JS代码触发点击，默认False
- timeout：整数，等待元素可点击的超时时间
返回值：布尔值，点击成功返回True
适用场景：按钮点击、链接跳转、复选框选中
代码示例：

python 复制代码

# 定位百度搜索按钮并点击
search_btn = page.ele('#su')
search_btn.click()

2.2.5 文本输入：input() 方法

函数作用：向输入框元素中输入文本内容
函数语法 ：element.input(value, clear=True)
参数详解：
- value：字符串，要输入的内容
- clear：布尔值，输入前是否清空输入框，默认True
返回值：元素对象本身，支持链式调用
适用场景：表单填写、搜索框输入、账号密码输入
代码示例：

python 复制代码

# 定位搜索框并输入关键词
input_ele = page.ele('#kw')
input_ele.input('DrissionPage 教程')

2.2.6 执行JS代码：run_js() 方法

函数作用：在当前页面执行JavaScript代码
函数语法 ：page.run_js(script, *args)
参数详解：
- script：字符串，要执行的JS代码
- *args：传入JS代码的参数
返回值：JS代码的执行结果
适用场景：复杂页面操作、绕过前端验证、修改页面属性
代码示例：

python 复制代码

# 获取页面标题
title = page.run_js('return document.title')
print(title)
# 滚动页面到底部
page.run_js('window.scrollTo(0, document.body.scrollHeight)')

三、DrissionPage 零基础入门

3.1 第一个DrissionPage爬虫程序（快速启动项目）

我们以「打开百度首页，获取页面标题」为例，完成第一个完整的DrissionPage程序：

python 复制代码

# 1. 导入核心类
from DrissionPage import WebPage

# 2. 创建页面对象（默认启动浏览器模式）
page = WebPage()

try:
    # 3. 访问目标网页
    page.get('https://www.baidu.com')
    
    # 4. 获取页面标题
    title = page.title
    print(f'页面标题：{title}')
    
    # 5. 输入关键词并搜索
    page.ele('#kw').input('DrissionPage')  # 定位输入框并输入
    page.ele('#su').click()  # 点击搜索按钮
    
    # 6. 等待页面加载完成，打印当前URL
    page.wait.load_start()
    print(f'搜索结果页URL：{page.url}')
    
finally:
    # 7. 关闭浏览器，释放资源
    page.quit()

运行代码后，会自动弹出Chrome浏览器窗口，完成搜索操作后自动关闭。这就是最简单的浏览器自动化流程。

3.2 静态网页基础请求操作（GET/POST请求使用）

对于纯静态页面，使用HTTP请求模式效率更高，无需启动浏览器：

python 复制代码

from DrissionPage import WebPage

# 切换到请求模式（s模式）
page = WebPage(mode='s')

# 1. GET请求
response = page.get('https://www.example.com')
print(f'状态码：{page.response.status_code}')
print(f'页面源码长度：{len(page.html)}')

# 2. POST请求
data = {'username': 'test', 'password': '123456'}
page.post('https://www.example.com/login', data=data)

3.3 网页基础元素解析（文本、链接、图片、标签获取）

定位元素后，可提取元素的各类属性与内容：

python 复制代码

from DrissionPage import WebPage

page = WebPage()
page.get('https://www.example.com')

# 1. 提取元素文本
h1_ele = page.ele('tag:h1')
print('标题文本：', h1_ele.text)

# 2. 提取元素属性
a_ele = page.ele('tag:a')
print('链接地址：', a_ele.attr('href'))

# 3. 提取图片地址
img_ele = page.ele('tag:img')
print('图片URL：', img_ele.attr('src'))

# 4. 获取元素HTML代码
print('元素HTML：', a_ele.html)

page.quit()

3.4 基础页面遍历与数据提取技巧

针对列表类页面，批量定位元素后循环遍历提取数据：

python 复制代码

from DrissionPage import WebPage
import csv

page = WebPage()
page.get('https://book.douban.com/top250')

# 定位所有书籍条目
book_items = page.eles('.item')
data_list = []

for item in book_items:
    # 在条目内定位子元素
    title = item.ele('.title a').text
    rating = item.ele('.rating_num').text
    info = item.ele('.inq').text if item.ele('.inq') else '无简介'
    
    data_list.append({
        '书名': title,
        '评分': rating,
        '简介': info
    })
    print(f'已采集：{title}')

# 保存到CSV文件
with open('豆瓣图书top250.csv', 'w', encoding='utf-8-sig', newline='') as f:
    writer = csv.DictWriter(f, fieldnames=['书名', '评分', '简介'])
    writer.writeheader()
    writer.writerows(data_list)

print('数据采集完成，已保存到CSV文件')
page.quit()

3.5 入门阶段常见基础报错与快速解决办法

浏览器启动失败
- 原因：系统权限限制、浏览器内核下载失败
- 解决：手动指定本地Chrome路径，或使用管理员权限运行脚本
元素定位返回None
- 原因：元素未加载完成、定位规则错误、元素在iframe内
- 解决：增加等待时间、检查定位语法、切换iframe
页面访问超时
- 原因：网络不佳、目标网站响应慢
- 解决：增加timeout参数、设置重试次数、检查网络连接

四、DrissionPage 进阶核心技巧

4.1 动态网页渲染与JS加载数据抓取

针对滚动加载、异步渲染的页面，通过等待机制与滚动操作获取完整数据：

python 复制代码

from DrissionPage import WebPage
import time

page = WebPage()
page.get('https://www.jianshu.com/')

# 模拟滚动加载更多内容
for i in range(3):  # 滚动3次
    # 滚动到页面底部
    page.run_js('window.scrollTo(0, document.body.scrollHeight)')
    time.sleep(2)  # 等待数据加载
    print(f'第{i+1}次滚动完成')

# 提取所有文章标题
titles = page.eles('.title')
print(f'共获取到{len(titles)}篇文章标题')
for title in titles[:10]:
    print(title.text)

page.quit()

4.2 精准元素定位技巧（css/xpath/文本匹配）

多维度定位方式

python 复制代码

# 1. CSS选择器定位（推荐，速度快）
ele = page.ele('#id_name')  # id定位
ele = page.ele('.class_name')  # class定位
ele = page.ele('div > span')  # 层级定位

# 2. XPath定位（灵活，适合复杂场景）
ele = page.ele('//div[@class="item"]/span[2]')

# 3. 文本定位（直观易用）
ele = page.ele('text:登录')  # 精确匹配文本
ele = page.ele('text:立即*')  # 模糊匹配，以立即开头
ele = page.ele('text:*更多')  # 模糊匹配，以更多结尾

# 4. 属性定位
ele = page.ele('@name=username')  # 匹配name属性
ele = page.ele('tag:input@type=password')  # 标签+属性组合

层级定位技巧

python 复制代码

# 先定位父元素，再定位子元素
parent = page.ele('.list-container')
child = parent.ele('.item-title')  # 只在父元素内查找，精准度更高

4.3 表单自动填写、点击、翻页自动化操作

完整表单提交示例

python 复制代码

from DrissionPage import WebPage

page = WebPage()
page.get('https://www.example.com/register')

# 填写输入框
page.ele('#username').input('test_user')
page.ele('#password').input('12345678')
page.ele('#email').input('test@example.com')

# 选择下拉框
select_ele = page.ele('#city')
select_ele.select.by_value('beijing')  # 通过value选择
select_ele.select.by_text('北京市')  # 通过文本选择

# 勾选复选框
page.ele('#agree').click()

# 提交表单
page.ele('#submit-btn').click()

# 处理弹窗alert
page.wait.alert_display()
page.alert.accept()  # 确认弹窗

翻页循环抓取

python 复制代码

# 循环抓取1-5页数据
for page_num in range(1, 6):
    print(f'正在采集第{page_num}页...')
    # 提取当前页数据
    items = page.eles('.list-item')
    for item in items:
        print(item.ele('.title').text)
    
    # 点击下一页
    next_btn = page.ele('text:下一页')
    if next_btn:
        next_btn.click()
        page.wait.load_start()  # 等待页面加载
    else:
        print('没有更多页面了')
        break

设置请求头与UA伪装

python 复制代码

from DrissionPage import WebPage

page = WebPage(mode='s')

# 设置全局请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Referer': 'https://www.example.com/'
}
page.set.headers(headers)

Cookie管理

python 复制代码

# 1. 添加单个Cookie
page.set.cookie('name', 'value', domain='.example.com')

# 2. 批量导入Cookie（字典格式）
cookies = {
    'session_id': 'abc123',
    'user_token': 'xyz789'
}
page.set.cookies(cookies)

# 3. 获取当前所有Cookie
all_cookies = page.cookies()
print(all_cookies)

代理IP配置

python 复制代码

# 设置HTTP代理
page.set.proxy('http://127.0.0.1:7890')

# 设置带认证的代理
page.set.proxy('http://user:password@proxy_ip:port')

4.5 数据清洗、去重、批量保存（txt/csv/json）

保存为JSON文件

python 复制代码

import json

# data_list为采集到的数据列表
with open('data.json', 'w', encoding='utf-8') as f:
    json.dump(data_list, f, ensure_ascii=False, indent=2)

数据去重技巧

python 复制代码

# 根据标题去重
seen_titles = set()
unique_data = []
for item in data_list:
    if item['title'] not in seen_titles:
        seen_titles.add(item['title'])
        unique_data.append(item)

4.6 进阶开发高频问题优化方案

iframe切换

python 复制代码

# 切换到iframe
iframe = page.ele('#iframe_id')
page.switch.to_frame(iframe)
# 切回主页面
page.switch.to_main()

多标签页操作

python 复制代码

# 打开新标签页
page.new_tab('https://www.example.com')
# 切换到第2个标签页
page.switch.to_tab(1)
# 关闭当前标签页
page.close_tab()

页面加载优化

python 复制代码

# 设置页面加载超时时间
page.set.timeouts(page_load=30)
# 只加载DOM，不加载图片、视频等资源，提升速度
page.set.load_mode.eager()

五、DrissionPage 高级实战与反爬处理

5.1 常见基础反爬机制绕过（UA校验、简单Cookie校验）

随机UA轮换

python 复制代码

import random

user_agents = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36...',
    'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36...'
]

# 每次请求随机切换UA
random_ua = random.choice(user_agents)
page.set.headers({'User-Agent': random_ua})

请求频率控制

python 复制代码

import time
import random

# 随机等待0.5-2秒，模拟人工操作
time.sleep(random.uniform(0.5, 2))

5.2 滑块验证码、弹窗拦截、人机验证处理方案

弹窗与广告关闭

python 复制代码

# 关闭弹窗按钮
close_btn = page.ele('.close-btn')
if close_btn:
    close_btn.click()

# 执行JS移除广告元素
page.run_js('document.querySelector(".ad-banner").remove()')

滑块验证码处理思路

对于简单滑块验证码，可通过JS直接绕过验证逻辑，或模拟拖拽操作：

python 复制代码

# 模拟滑块拖拽
slider = page.ele('#slider')
track = 200  # 滑动距离
slider.drag(track, 0, duration=0.5)  # 向右拖拽200像素

注意：复杂验证码建议接入第三方打码平台，同时请遵守网站规则，仅用于合法合规场景。

5.3 多线程/异步爬虫高性能抓取优化

针对大量页面采集，使用多线程结合SessionPage模式大幅提升效率：

python 复制代码

from DrissionPage import SessionPage
import threading
import time

def crawl_url(url, results):
    page = SessionPage()
    try:
        page.get(url, timeout=10)
        title = page.ele('tag:title').text
        results.append({'url': url, 'title': title})
        print(f'采集成功：{url}')
    except Exception as e:
        print(f'采集失败：{url}, 错误：{e}')

if __name__ == '__main__':
    urls = [f'https://www.example.com/page/{i}' for i in range(1, 21)]
    results = []
    threads = []
    
    start_time = time.time()
    # 创建5个线程
    for url in urls:
        t = threading.Thread(target=crawl_url, args=(url, results))
        threads.append(t)
        t.start()
    
    # 等待所有线程完成
    for t in threads:
        t.join()
    
    print(f'共采集{len(results)}条数据，耗时{time.time()-start_time:.2f}秒')

5.4 无头模式、静默运行、防检测配置

无头模式（后台运行，不显示浏览器窗口）

python 复制代码

from DrissionPage import ChromiumOptions, WebPage

# 配置浏览器选项
co = ChromiumOptions()
co.headless()  # 开启无头模式
co.set_user_agent('Mozilla/5.0 ...')  # 设置UA

# 使用配置创建页面对象
page = WebPage(chromium_options=co)

浏览器防检测配置

python 复制代码

co = ChromiumOptions()
# 移除webdriver特征，防止被检测
co.set_argument('--disable-blink-features=AutomationControlled')
# 关闭自动化提示
co.set_argument('--no-first-run')
# 禁用扩展
co.set_argument('--disable-extensions')
# 设置浏览器窗口大小
co.set_window_size(1920, 1080)

5.5 大规模爬虫稳定性优化与异常重试机制

通用重试装饰器

python 复制代码

import time
from functools import wraps

def retry(max_times=3, interval=2):
    def decorator(func):
        @wraps(func)
        def wrapper(*args, **kwargs):
            for i in range(max_times):
                try:
                    return func(*args, **kwargs)
                except Exception as e:
                    print(f'第{i+1}次执行失败：{e}，{interval}秒后重试...')
                    time.sleep(interval)
            raise Exception(f'重试{max_times}次后仍然失败')
        return wrapper
    return decorator

# 使用示例
@retry(max_times=3)
def get_page_data(url):
    page = SessionPage()
    page.get(url)
    return page.ele('tag:title').text

断点续爬实现

python 复制代码

import json

# 保存采集进度
def save_progress(index, filename='progress.json'):
    with open(filename, 'w') as f:
        json.dump({'current_index': index}, f)

# 读取进度
def load_progress(filename='progress.json'):
    try:
        with open(filename, 'r') as f:
            return json.load(f)['current_index']
    except:
        return 0

# 采集时从断点继续
start_index = load_progress()
for i in range(start_index, len(urls)):
    crawl_url(urls[i])
    save_progress(i+1)  # 每完成一条保存进度

5.6 企业级完整爬虫项目实战（全站数据抓取落地）

项目需求：电商网站商品信息采集

实现功能：翻页采集商品名称、价格、销量、店铺信息，保存到CSV，支持异常重试与断点续爬。

python 复制代码

from DrissionPage import WebPage
import csv
import time
import random

class ProductSpider:
    def __init__(self):
        self.page = WebPage()
        self.results = []
        self.csv_file = 'products.csv'
        self.fields = ['商品名称', '价格', '销量', '店铺']
        
    def init_csv(self):
        """初始化CSV文件，写入表头"""
        with open(self.csv_file, 'w', encoding='utf-8-sig', newline='') as f:
            writer = csv.DictWriter(f, fieldnames=self.fields)
            writer.writeheader()
    
    def save_to_csv(self, data):
        """追加保存数据到CSV"""
        with open(self.csv_file, 'a', encoding='utf-8-sig', newline='') as f:
            writer = csv.DictWriter(f, fieldnames=self.fields)
            writer.writerow(data)
    
    def parse_page(self):
        """解析当前页面商品数据"""
        items = self.page.eles('.product-item')
        for item in items:
            try:
                name = item.ele('.product-name').text
                price = item.ele('.product-price').text
                sales = item.ele('.product-sales').text
                shop = item.ele('.shop-name').text
                
                product = {
                    '商品名称': name,
                    '价格': price,
                    '销量': sales,
                    '店铺': shop
                }
                self.results.append(product)
                self.save_to_csv(product)
                print(f'已采集：{name}')
            except Exception as e:
                print(f'解析单个商品失败：{e}')
                continue
    
    def run(self, max_page=10):
        """启动爬虫"""
        self.init_csv()
        self.page.get('https://www.example.com/products')
        
        for page_num in range(1, max_page+1):
            print(f'===== 正在采集第{page_num}页 =====')
            self.parse_page()
            
            # 点击下一页
            next_btn = self.page.ele('text:下一页')
            if next_btn and page_num < max_page:
                next_btn.click()
                time.sleep(random.uniform(1, 2))  # 随机等待
            else:
                break
        
        print(f'采集完成，共获取{len(self.results)}条商品数据')
        self.page.quit()

if __name__ == '__main__':
    spider = ProductSpider()
    spider.run(max_page=5)

六、DrissionPage 爬虫常见报错与全套避坑指南

6.1 环境安装与启动报错汇总解决

报错现象	常见原因	解决方案
pip安装失败，提示网络超时	官方源访问慢	使用国内清华源、阿里源安装
首次启动提示下载浏览器失败	网络无法访问谷歌资源	手动下载Chromium内核放到指定目录，或配置代理
导入模块提示ModuleNotFoundError	安装环境与运行环境不一致	检查Python环境，使用对应pip安装
Linux环境启动浏览器失败	缺少依赖库	安装依赖：`apt install libnss3 libxss1 libasound2`

6.2 页面加载失败、元素找不到问题排查

优先检查元素是否在iframe中：右键查看元素，确认是否嵌套在iframe标签内，需先切换iframe
检查页面是否未加载完成 ：增加page.wait.load_complete()等待页面完全加载
定位语法错误：CSS选择器、XPath语法写错，可在浏览器控制台调试定位规则
元素是动态生成的 ：增加等待超时时间，使用page.ele(locator, timeout=10)
元素在shadow DOM中 ：使用page.shadow_root()定位影子节点

6.3 反爬封禁、请求超时、连接异常处理

IP封禁：使用代理IP池，降低请求频率，增加随机等待时间
Cookie失效：模拟登录流程获取有效Cookie，定期更新Cookie
请求超时：设置合理的超时时间，增加重试机制，异常捕获
人机验证：降低操作速度，模拟人工操作轨迹，避免高频重复操作

6.4 数据抓取错乱、漏抓、重复抓取问题优化

数据错乱：定位规则不唯一，使用更精准的父元素+子元素组合定位
数据漏抓：页面滚动不充分、加载未完成，增加等待时间，滚动后校验数据量
重复抓取：根据唯一标识（如商品ID、URL）去重，保存采集进度避免重复
数据乱码：指定文件编码为utf-8-sig，CSV文件兼容Excel打开

七、全文总结与进阶学习拓展

7.1 DrissionPage核心知识点全文复盘

基础层：了解DrissionPage的定位与优势，掌握环境搭建、页面访问、元素定位与基础数据提取
进阶层：熟练运用多种定位技巧，掌握表单操作、翻页循环、Cookie与代理配置、数据保存
高级层：掌握反爬绕过、多线程优化、无头模式、异常重试、断点续爬等企业级开发技巧
实战层：能够独立完成完整爬虫项目，具备问题排查与性能优化能力

7.2 爬虫学习进阶方向

分布式爬虫：结合Redis、Scrapy-Redis实现大规模分布式数据采集
验证码识别：学习OCR识别、深度学习验证码破解技术
移动端爬虫：App数据抓取、抓包分析、小程序逆向
JS逆向：分析网站加密参数，破解接口签名算法
数据可视化：将采集到的数据进行清洗、分析与可视化展示

7.3 项目开发规范与爬虫合规使用须知

遵守法律法规：严格遵守《网络安全法》《数据安全法》，不爬取涉密、个人隐私数据
尊重网站规则：遵守目标网站的robots协议，不恶意攻击网站服务器
控制爬取频率：合理设置请求间隔，避免对目标网站造成过大压力
数据合法使用：采集到的数据仅用于学习研究，不得用于商业用途或非法传播
做好风险评估：商业项目务必提前做好法律风险评估，合规开展数据采集工作

DrissionPage 从入门到实战：一站式Python爬虫与网页自动化教程

文章目录

前言

一、DrissionPage 简介

1.1 DrissionPage 是什么？

1.2 DrissionPage 的核心功能与核心优势

核心功能

核心优势

1.3 DrissionPage 主流使用场景

1.4 DrissionPage 与其他爬虫库的对比

1.5 DrissionPage 详细安装与环境配置（Windows/Linux/Mac）

环境要求

安装步骤

二、DrissionPage 核心常用类与方法（超详细）

2.1 DrissionPage 核心常用类详解

2.1.1 WebPage 类（最推荐）

2.1.2 SessionPage 类

2.1.3 ChromiumPage 类

2.1.4 Element 类

2.2 DrissionPage 核心常用方法详解

2.2.1 页面访问：get() 方法

2.2.2 元素定位：ele() 方法

2.2.3 批量元素定位：eles() 方法

2.2.4 元素点击：click() 方法

2.2.5 文本输入：input() 方法

2.2.6 执行JS代码：run_js() 方法

三、DrissionPage 零基础入门

3.1 第一个DrissionPage爬虫程序（快速启动项目）

3.2 静态网页基础请求操作（GET/POST请求使用）

3.3 网页基础元素解析（文本、链接、图片、标签获取）

3.4 基础页面遍历与数据提取技巧

3.5 入门阶段常见基础报错与快速解决办法

四、DrissionPage 进阶核心技巧

4.1 动态网页渲染与JS加载数据抓取

4.2 精准元素定位技巧（css/xpath/文本匹配）

多维度定位方式

层级定位技巧

4.3 表单自动填写、点击、翻页自动化操作

完整表单提交示例

翻页循环抓取

4.4 爬虫请求头、Cookie、代理配置

设置请求头与UA伪装

Cookie管理

代理IP配置

4.5 数据清洗、去重、批量保存（txt/csv/json）

保存为JSON文件

数据去重技巧

4.6 进阶开发高频问题优化方案

五、DrissionPage 高级实战与反爬处理

5.1 常见基础反爬机制绕过（UA校验、简单Cookie校验）

随机UA轮换

请求频率控制

5.2 滑块验证码、弹窗拦截、人机验证处理方案

弹窗与广告关闭

滑块验证码处理思路

5.3 多线程/异步爬虫高性能抓取优化

5.4 无头模式、静默运行、防检测配置

无头模式（后台运行，不显示浏览器窗口）

浏览器防检测配置

5.5 大规模爬虫稳定性优化与异常重试机制

通用重试装饰器

断点续爬实现

5.6 企业级完整爬虫项目实战（全站数据抓取落地）

项目需求：电商网站商品信息采集

六、DrissionPage 爬虫常见报错与全套避坑指南

6.1 环境安装与启动报错汇总解决

6.2 页面加载失败、元素找不到问题排查

6.3 反爬封禁、请求超时、连接异常处理

6.4 数据抓取错乱、漏抓、重复抓取问题优化

七、全文总结与进阶学习拓展

7.1 DrissionPage核心知识点全文复盘

7.2 爬虫学习进阶方向

7.3 项目开发规范与爬虫合规使用须知