《Python实战进阶》No23: 使用 Selenium 自动化浏览器操作

No23: 使用 Selenium 自动化浏览器操作


摘要

Selenium 是自动化浏览器操作的"瑞士军刀",可模拟人类行为操作网页,适用于爬虫、测试、重复任务自动化等场景。本集通过代码驱动实战,从安装配置到复杂交互,带你掌握 Selenium 的核心技能,并结合电商网站登录、商品下单等真实场景,解决动态加载、反爬等实际问题。


核心概念与代码实战

1. 环境配置与 WebDriver 基础

安装命令:

bash 复制代码
pip install selenium webdriver-manager  

初始化浏览器(自动管理驱动):

python 复制代码
from selenium import webdriver  
from selenium.webdriver.chrome.service import Service  
from webdriver_manager.chrome import ChromeDriverManager  

# 自动下载并配置 Chrome 驱动  
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))  

效果验证:

python 复制代码
driver.get("https://www.python.org")  
print(driver.title)  # 输出: "Welcome to Python.org"  

2. 元素定位与交互

常见定位方式:

python 复制代码
# 通过 ID 定位搜索框并输入关键词  
search_box = driver.find_element(By.ID, "id-search-field")  
search_box.send_keys("selenium")  

# 通过 XPATH 点击搜索按钮  
driver.find_element(By.XPATH, "//button[@type='submit']").click()  

动态交互示例(鼠标悬停与下拉菜单选择):

python 复制代码
from selenium.webdriver.common.action_chains import ActionChains  

# 模拟鼠标悬停  
menu = driver.find_element(By.CSS_SELECTOR, ".menu-item")  
ActionChains(driver).move_to_element(menu).perform()  

# 选择下拉菜单项  
driver.find_element(By.LINK_TEXT, "Documentation").click()  

3. 动态内容与显式等待

问题场景 :页面数据通过 AJAX 动态加载,直接定位会报错。
解决方案:显式等待(Explicit Wait):

python 复制代码
from selenium.webdriver.support.ui import WebDriverWait  
from selenium.webdriver.support import expected_conditions as EC  

# 等待搜索结果加载完成  
results = WebDriverWait(driver, 10).until(  
    EC.presence_of_all_elements_located((By.CSS_SELECTOR, ".list-recent-events li"))  
)  
print(f"共找到 {len(results)} 条结果")  

输出示例:

复制代码
共找到 5 条结果  

4. 反爬策略与绕过技巧

常见反爬手段与应对:

python 复制代码
# 修改 User-Agent  
options = webdriver.ChromeOptions()  
options.add_argument("user-agent=Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36")  

# 使用代理 IP  
options.add_argument("--proxy-server=http://123.45.67.89:8080")  

# 绕过 WebDriver 检测(部分网站会识别自动化脚本)  
options.add_argument("--disable-blink-features=AutomationControlled")  

验证码处理建议:

  • 集成第三方 API(如 2Captcha)自动识别
  • 使用 Pytesseract 进行简单图像验证码识别

实战案例:电商自动化全流程

案例 1:自动化登录与数据抓取

场景:登录某电商后台,提取订单数据。

python 复制代码
driver.get("https://fake-ecommerce.com/login")  

# 输入账号密码  
driver.find_element(By.ID, "username").send_keys("user123")  
driver.find_element(By.ID, "password").send_keys("pass123")  
driver.find_element(By.CSS_SELECTOR, "button.login-btn").click()  

# 抓取订单列表  
orders = WebDriverWait(driver, 10).until(  
    EC.presence_of_all_elements_located((By.CLASS_NAME, "order-item"))  
)  
for order in orders:  
    print(order.text)  

输出示例:

复制代码
订单号: 20230901-001 | 状态: 已发货  
订单号: 20230902-002 | 状态: 处理中  
案例 2:商品搜索与下单
python 复制代码
# 搜索商品  
search_box = driver.find_element(By.NAME, "q")  
search_box.send_keys("无线耳机")  
search_box.submit()  

# 选择第一个商品并加入购物车  
driver.find_element(By.CSS_SELECTOR, ".product-item:first-child .buy-btn").click()  
driver.find_element(By.ID, "checkout-btn").click()  

# 提交订单(需提前登录)  
driver.find_element(By.ID, "place-order").click()  
案例 3:网页性能测试
python 复制代码
import time  

start_time = time.time()  
driver.get("https://example.com")  
load_time = time.time() - start_time  
print(f"页面加载耗时:{load_time:.2f} 秒")  

# 统计资源请求时间(需启用性能日志)  
logs = driver.get_log("performance")  
for log in logs:  
    if "Network.responseReceived" in log["message"]:  
        print(f"资源加载时间:{log['timestamp']}")  

输出示例:

复制代码
页面加载耗时:2.35 秒  
资源加载时间:1693720000.123  

扩展思考

1. Headless 模式提升效率
python 复制代码
options = webdriver.ChromeOptions()  
options.add_argument("--headless")  # 无头模式  
options.add_argument("--disable-gpu")  
driver = webdriver.Chrome(options=options)  

# 在后台静默执行任务  
driver.get("https://example.com")  
print(driver.title)  

优势:节省内存、适合服务器环境

2. Selenium 的局限性
  • 性能开销大:每个实例占用 1GB+ 内存
  • 无法操作非浏览器 GUI:如桌面应用需结合 PyAutoGUI(下集详解)

替代方案推荐:

  • Playwright:微软开源,支持移动端模拟和更快的执行速度
  • Requests + lxml:轻量级静态页面爬取

总结

通过本集实战,你已掌握:

  1. Selenium 动态页面操作的核心技能
  2. 反爬策略的攻防实战
  3. 电商自动化全流程(登录→搜索→下单→性能测试)
  4. 性能优化与替代方案选择

下集预告 :

《No24: PyAutoGUI 实现桌面自动化》将带你突破浏览器限制,自动化操作文件管理器、Excel 等桌面应用,实现全栈自动化!


附:运行环境

  • 环境要求:Python 3.8+、Chrome 114+
相关推荐
赵大仁2 分钟前
Agent 工具调用可靠性:超时、重试、幂等与人工确认怎么设计
python·agent·幂等·工具调用·人工确认
__underline__1 小时前
冷门Python知识点007篇:list[int]不是类,为什么能当基类?
后端·python
Dmz丶1 小时前
前端转 AI 100 天 Day 49:文档切分——RAG 效果的隐形开关
python
青少儿编程课堂2 小时前
第十八届蓝桥杯青少组图形化真题 + 全国青少年信息素养大赛 + 电子学会图形化考级:校园泡泡堂大挑战解析
c++·python·算法·bfs·信息学竞赛
Starry-sky(jing)3 小时前
Hermes Agent 升级 v0.23.2:先辨更新渠道,再看 CLI 退出残留修复
人工智能·python·ai agent
2601_967979123 小时前
“Python,就是新的 BASIC!”
python·编程语言·历史·basic·比较
青少儿编程课堂3 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:Dinic最大流解析
c++·python·算法·bfs·信息学竞赛
专注仿真4 小时前
基于 AFSIM 的智能体训练:多智能体强化学习篇 —— QTRAN 算法实战
开发语言·python·算法·php·强化学习·afsim智能体·仿真训练
如夏倾城4 小时前
五大远程桌面协议:RDP、SSH、VNC/RFB、Citrix ICA/HDX 与 VMware Blast Extreme
运维·windows·网络协议·安全·自动化·ssh·远程工作
2601_967987375 小时前
Python类变量和实例变量(类属性和实例属性)
python·类变量·实例变量·类属性·实例属性