风火编程--playwright爬虫

playwright爬虫基本用法

等待加载

page.wait_for_load_state('networkidle')

text = page.content()

点击

demo

python 复制代码
 with sync_playwright() as pw:
        browser = pw.chromium.launch(headless=True)
        context = browser.new_context()
        page = context.new_page()
        page.goto(url)
        page.wait_for_load_state('networkidle')
        text = page.content()
        page.close()
        context.close()
        browser.close()
    info = parse_info(text)
    title = re.findall('''"Buy now:(.+?)",''', text)[0]

禁止加载图片

复制代码
    page.route("**/*", lambda route: route.abort()
    if route.request.resource_type == "image"
    else route.continue_())

登录状态

保存

python 复制代码
context.storage_state(path='login_data.json')

使用

python 复制代码
context = browser.new_context(storage_state='login_data.json')
相关推荐
子竹聆风2 小时前
Feapder框架UpdateItem使用技巧:如何优雅地实现"只更新有值字段"
爬虫
吴秋霖3 天前
主流反爬虫、反作弊防护与风控对抗手段
爬虫·算法·反爬虫技术
hui函数3 天前
scrapy框架-day02
后端·爬虫·python·scrapy
用户051610461674 天前
爬虫 API 技术全解析:从原理到实战的高效数据采集指南
爬虫·api
xiaoxiongip6665 天前
动态ip适合挂什么项目
网络·爬虫·python·网络协议·tcp/ip·ip
q567315236 天前
自动化拨号爬虫体系:虚拟机集群部署与增量管理
运维·爬虫·网络协议·自动化
电商API_180079052476 天前
淘宝商品视频批量自动化获取的常见渠道分享
java·爬虫·自动化·网络爬虫·音视频
果壳~7 天前
【Python】爬虫html提取内容基础,bs4
爬虫·python·html
jay神7 天前
基于Python的商品爬取与可视化系统
爬虫·python·数据分析·毕业设计·可视化系统
华科云商xiao徐7 天前
如何在C语言环境中借助Linux库构建高效网络爬虫
爬虫·数据挖掘·数据分析