从零到英雄：使用 Playwright 实现高效网页数据爬取与自动化测试

在当今数据驱动的时代，无论是市场分析、竞品监控还是机器学习模型训练，高质量的数据获取都是关键一步。然而，随着网站动态渲染技术的普及（如 React、Vue 等框架），传统的基于 requests + BeautifulSoup 的爬虫方案逐渐力不从心。今天，我将带大家探索一个现代、强大且开发者友好的工具------Playwright，它不仅能轻松应对动态网页，还支持跨浏览器自动化测试，堪称"爬虫 + 自动化测试"的瑞士军刀。

一、为什么选择 Playwright？

无头浏览器真香

Playwright 内置 Chromium、Firefox、WebKit（Safari 内核）三种浏览器引擎，支持有头/无头模式切换，完美渲染 JavaScript 动态内容，告别 Selenium 的臃肿和 Puppeteer 的单浏览器局限。

API 设计极简

异步语法 + 链式调用，代码简洁到哭。例如，登录并抓取数据只需：

python

复制代码

`async with playwright.chromium.launch() as browser:
    page = await browser.new_page()
    await page.goto("https://example.com/login")
    await page.fill("#username", "my_user")
    await page.fill("#password", "my_pass")
    await page.click("[type='submit']")
    await page.wait_for_selector("#data-table")
    data = await page.inner_text("#data-table")
`

自动等待机制

无需手动设置 time.sleep()，Playwright 会智能等待元素出现、网络请求完成等，大幅提升脚本稳定性。
跨平台支持

Windows/macOS/Linux 一键运行，甚至能在 Docker 容器中无缝部署。

二、实战：爬取某电商网站商品信息

场景：抓取某电商平台商品名称、价格和评价数，并导出为 CSV。

1. 安装 Playwright

bash

复制代码

`pip install playwright
playwright install  # 下载浏览器二进制文件
`

2. 编写爬虫脚本

复制代码

python

复制代码

`import csv
from playwright.sync_api import sync_playwright

def scrape_product_data(url):
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=False)  # 设置为 True 可隐藏浏览器窗口
        page = browser.new_page()
        page.goto(url)
        
        # 模拟滚动加载更多商品（根据实际页面调整）
        page.evaluate("window.scrollTo(0, document.body.scrollHeight)")
        page.wait_for_timeout(2000)  # 等待数据加载
        
        # 提取数据
        products = page.query_selector_all(".product-item")
        results = []
        for product in products:
            name = product.query_selector(".name").inner_text()
            price = product.query_selector(".price").inner_text()
            reviews = product.query_selector(".reviews-count").inner_text()
            results.append([name, price, reviews])
        
        browser.close()
        return results

# 执行爬取并保存
data = scrape_product_data("https://example-ecommerce.com/category/phones")
with open("products.csv", "w", newline="", encoding="utf-8") as f:
    writer = csv.writer(f)
    writer.writerow(["名称", "价格", "评价数"])
    writer.writerows(data)
`

3. 进阶技巧

处理登录 ：使用 page.fill() 和 page.click() 模拟表单提交，或通过 page.set_extra_http_headers() 携带 Cookie。
反爬策略 ：随机延迟、旋转 User-Agent、使用代理池（配合 playwright.async_api.ProxySettings）。
自动化测试 ：通过 page.screenshot() 截屏验证页面状态，或集成 pytest 编写测试用例。

三、常见问题解答

Q1：Playwright 和 Selenium 有什么区别？

A：Playwright 更轻量、API 更现代化，且由微软官方维护，对现代网页支持更好；Selenium 生态更成熟但架构较老旧。

Q2：如何避免被网站封禁？

A：控制爬取频率（如 page.wait_for_timeout(random.uniform(1, 3))），使用代理池，并遵守目标网站的 robots.txt。

Q3：能否爬取移动端网页？

A：可以！通过 browser.new_context(viewport={"width": 375, "height": 667}) 模拟手机屏幕，或直接使用 Playwright 的移动端调试模式。

四、总结

Playwright 的出现，让动态网页爬取和自动化测试变得前所未有的简单。无论是数据采集、UI 测试还是 RPA（机器人流程自动化），它都能胜任。如果你还在为复杂的反爬机制或浏览器兼容性烦恼，不妨试试这个工具，相信它会成为你技术栈中的"秘密武器"！