python使用scrapy-pyppeteer中间件使用代理IP

要提高scrapy-pyppeteer的效率,可以考虑以下几个方面:

  • 减少不必要的页面操作,如滚动、点击等,只执行对数据抓取有用的操作。
  • 使用pyppeteer_page_coroutines 参数传入一个可排序的迭代器(如列表、元组或字典),指定在返回响应之前需要在页面上执行的协程。这样可以避免多次调用page.evaluate方法。
  • 设置合理的并发数和下载延迟,避免过多的请求导致浏览器崩溃或被目标网站封禁。
  • 使用缓存或增量爬取,避免重复爬取相同的页面。
python 复制代码
# settings.py
# -*- coding: utf-8 -*-

Sydney = 'scrapy_pyppeteer'

SPIDER_MODULES = ['scrapy_pyppeteer.spiders']
NEWSPIDER_MODULE = 'scrapy_pyppeteer.spiders'

# 设置下载中间件
DOWNLOADER_MIDDLEWARES = {
    'scrapy_pyppeteer.middlewares.PyppeteerMiddleware': 543,
    'scrapy_pyppeteer.middlewares.RandomUserAgentMiddleware': 544,
}

# 设置请求头
DEFAULT_REQUEST_HEADERS = {
    'Accept': '*/*',
    'Accept-Language': 'en',
}

# 设置日志级别
LOG_LEVEL = "DEBUG"

# 设置pyppeteer启动选项
PYPPETEER_LAUNCH_OPTIONS = {
    # 是否显示浏览器界面,默认False
    "headless": False,
    # 是否忽略HTTPS错误,默认False
    "ignoreHTTPSErrors": True,
    # 添加代理服务器的地址,格式为host:port或protocol://host:port
    "args": ["--proxy-server=www.16yun.cn:31111"]
}

# 设置并发数,默认16
CONCURRENT_REQUESTS = 8

# 设置下载延迟,默认0秒
DOWNLOAD_DELAY = 1

# 启用缓存,默认False
HTTPCACHE_ENABLED = True
python 复制代码
# middlewares.py
# -*- coding: utf-8 -*-
import asyncio

import pyppeteer

from scrapy import signals, Request, Spider, http


class PyppeteerMiddleware:
    # 定义一个类属性browser,表示浏览器对象
    browser: pyppeteer.browser.Browser

    @classmethod
    def from_crawler(cls, crawler):
        # 创建中间件实例,并传入crawler对象作为参数
相关推荐
QuZhengRong30 分钟前
【AI】Agent 全栈进阶|AgentScope 沙箱源码解析
python·学习·ai·agent·沙箱
Eider19981 小时前
Python基础语法之并发相关3
开发语言·python
M--Y2 小时前
LangGraph 架构基石:持久化与运行控制
python·langchain·大模型·llm·持久化·langgraph
用户019027581613 小时前
新浪财经 / 东方财富股票接口不稳、被限?稳定替代方案
python
七夜zippoe3 小时前
Nexent 知识库:调优靠 Chunk 与重排
开发语言·python·ai智能体·nexent·知识库与rag
承渊政道6 小时前
【Python编程—从入门到实践】(用户账户:给Django网站装上登录系统,让每个人拥有自己的学习笔记)
python·学习·pycharm·django
wuyk5556 小时前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
承渊政道7 小时前
【Python编程—从入门到实践】(设置样式并部署:给Django网站换新装,把学习笔记发布到互联网)
python·学习·pycharm·django
用户298698530147 小时前
使用 Python 将 JSON 转换为 Word 文档的实践指南
python·json·api
卷无止境8 小时前
AI 加速开发之后,如何应对尚未发现的代码安全威胁
后端·python