风火编程--playwright爬虫

playwright爬虫基本用法

等待加载

page.wait_for_load_state('networkidle')

text = page.content()

点击

demo

python 复制代码
 with sync_playwright() as pw:
        browser = pw.chromium.launch(headless=True)
        context = browser.new_context()
        page = context.new_page()
        page.goto(url)
        page.wait_for_load_state('networkidle')
        text = page.content()
        page.close()
        context.close()
        browser.close()
    info = parse_info(text)
    title = re.findall('''"Buy now:(.+?)",''', text)[0]

禁止加载图片

复制代码
    page.route("**/*", lambda route: route.abort()
    if route.request.resource_type == "image"
    else route.continue_())

登录状态

保存

python 复制代码
context.storage_state(path='login_data.json')

使用

python 复制代码
context = browser.new_context(storage_state='login_data.json')
相关推荐
是小崔啊19 小时前
【爬虫】- 爬虫原理及其入门
爬虫
datascome19 小时前
文章发布易优CMS(Eyoucms)网站技巧
数据库·经验分享·爬虫·数据采集·eyoucms·易优cms
傻啦嘿哟1 天前
Python爬虫动态IP代理报错全解析:从问题定位到实战优化
爬虫·python·tcp/ip
用户668578810681 天前
使用 Python 编写一个简单的网页爬虫
爬虫
q567315231 天前
Koa+Puppeteer爬虫教程页面设计
javascript·css·爬虫
傻啦嘿哟2 天前
长效住宅代理IP:反爬虫战场上的隐形盾牌
爬虫·网络协议·tcp/ip
华科云商xiao徐2 天前
冷门但好用的Python库写个爬虫代码
爬虫
华科云商xiao徐2 天前
Koa+Puppeteer爬虫教程页面设计
爬虫
Python×CATIA工业智造2 天前
列表页与详情页的智能识别:多维度判定方法与工业级实现
爬虫·深度学习·pycharm
失败又激情的man3 天前
python之requests库解析
开发语言·爬虫·python