【无标题】使用 Playwright 实现跨 Chromium、Firefox、WebKit 浏览器自动化操作

环境安装

首先要安装 Playwright 及其依赖库,命令如下:

复制代码
 

Bash

pip install playwright pillow pytesseract

playwright install

这里安装了 Playwright、Pillow(用于图像处理)、pytesseract(用于 OCR 识别),并安装了所需的浏览器驱动2

代码示例

以下是一个简单的使用 Playwright 实现跨浏览器自动化操作的 Python 代码示例:

复制代码
 

Python

import asyncio

from playwright.async_api import async_playwright

async def main():

async with async_playwright() as p:

# 启动 Chromium 浏览器

browser_chromium = await p.chromium.launch(headless=False)

page_chromium = await browser_chromium.new_page()

await page_chromium.goto("https://www.example.com")

await page_chromium.screenshot(path="chromium_screenshot.png")

await browser_chromium.close()

# 启动 Firefox 浏览器

browser_firefox = await p.firefox.launch(headless=False)

page_firefox = await browser_firefox.new_page()

await page_firefox.goto("https://www.example.com")

await page_firefox.screenshot(path="firefox_screenshot.png")

await browser_firefox.close()

# 启动 WebKit 浏览器

browser_webkit = await p.webkit.launch(headless=False)

page_webkit = await browser_webkit.new_page()

await page_webkit.goto("https://www.example.com")

await page_webkit.screenshot(path="webkit_screenshot.png")

await browser_webkit.close()

asyncio.run(main())

在上述代码中,使用 async_playwright 异步启动不同的浏览器(Chromium、Firefox、WebKit),然后打开指定的网页并进行截图,最后关闭浏览器。

反爬与动态内容处理

现代网站存在诸多反爬机制和动态内容,Playwright 可以很好地应对这些问题。例如,对于 JS 动态渲染与加载的页面,Playwright 会自动加载页面并等待 JS 执行;对于 JS 挑战(如滑动验证),可以模拟真实用户滑动或点击操作;对于图片验证码识别,可以截图验证码区域,利用 OCR 自动识别;对于登录态维护,可以使用 Playwright 的 cookie 管理来保持会话2

并发优化

可以结合 asyncio 实现并发操作,提高爬取效率。以下是一个简单的并发示例:

复制代码
 

Python

import asyncio

from playwright.async_api import async_playwright

async def scrape_page(browser_type):

async with async_playwright() as p:

browser = await getattr(p, browser_type).launch(headless=False)

page = await browser.new_page()

await page.goto("https://www.example.com")

await page.screenshot(path=f"{browser_type}_screenshot.png")

await browser.close()

async def main():

tasks = [scrape_page("chromium"), scrape_page("firefox"), scrape_page("webkit")]

await asyncio.gather(*tasks)

asyncio.run(main())

在这个示例中,使用 asyncio.gather 并发地对不同浏览器进行操作,提高了爬取效率。

相关推荐
JAI科研6 分钟前
Deepseek Agent Harness教程(七) | Deepseek Harness不是一个内核加一堆插件
开发语言·人工智能·深度学习·算法·自然语言处理·transformer·vllm
tuanxiang12 分钟前
在线测AI含量:批量内容生成的合规性排查踩坑记录
人工智能·深度学习·机器学习
玖石书22 分钟前
Ubuntu 更换 USTC 镜像源完整指南(AMD64 / AARCH64)
linux·运维·ubuntu
zbyyd25 分钟前
Linux 进程间通信(IPC):信号、消息队列、共享内存与信号量详解
linux·运维·c语言
黑臂麒麟29 分钟前
HarmonyOS鸿蒙实战应用6:随手账本——Preferences本地持久化
数据库·华为·app·鸿蒙
大雷神31 分钟前
HarmonyOS AR Engine高精几何重建实战——扫描纸盒并测量体积
华为·ar·harmonyos
AICoder码农王31 分钟前
Vitest 实战:从一个真实项目看懂测试套件
前端·前端框架
律宏阔40 分钟前
Electron Forge 在 macOS M4 打包踩坑:Node.js 26 导致 make 异常中断
前端
智脑API41 分钟前
CCSwitch Claude Code 如何配置 MCP?服务器启动、工具权限与安全测试
运维·服务器·claude·codex·ccswitch
木木爱研究43 分钟前
elpis-里程碑四-基于Vue完成动态组件库建设
前端·后端