【爬虫】爬虫记录1

Scrapy 是专业的爬虫框架,Selenium 是浏览器自动化工具。它们经常配合使用,但定位完全不同。

核心区别一览

维度 Scrapy Selenium
本质 异步网络爬虫框架 浏览器自动化测试工具
工作方式 直接发送HTTP请求,解析HTML/JSON 启动真实浏览器(Chrome/Firefox),模拟人操作
速度 极快(异步非阻塞,可同时处理上百个请求) 慢(需加载网页、执行JS、渲染页面)
资源占用 低(仅需少量CPU和内存) 高(每个浏览器实例占用几百MB内存)
处理JS渲染 ❌ 默认不能(需要配合Splash/Playwright等) ✅ 原生支持(真实浏览器环境)
适用场景 静态网站、API接口、高性能大规模抓取 单页应用(SPA)、需登录、点击、滚动等交互的网站
上手难度 中等(需要理解回调、管道、中间件) 低(API接近人类操作浏览器)

什么时候用 Scrapy?

  • 目标网站是传统服务端渲染(页面源码包含所有数据)
  • 需要抓取几十万甚至上百万页面
  • 需要遵循robots.txt、自动限速、去重、重试等专业功能
  • 需要输出结构化数据到JSON/CSV/数据库

什么时候用 Selenium?

  • 页面数据通过JavaScript动态加载(比如React/Vue开发的网站)
  • 需要模拟登录、滑动验证码、下拉加载更多、点击按钮等操作
  • 反爬策略复杂(需要真实的浏览器指纹、鼠标轨迹)
  • 抓取量小(几百到几千页),追求开发速度而非效率

常见的协作模式(最佳实践)

用Selenium做"探针",用Scrapy做"主力":

python 复制代码
# 流程示例
1. 用Selenium打开目标页面
2. 等待JS渲染完成,获取页面完整HTML
3. 将HTML源码传递给Scrapy的解析函数
4. Scrapy负责提取数据、处理分页、存储

或者更高级的方式:Scrapy + Splash/Playwright(Scrapy官方插件,可渲染JS但保持异步高性能)。

极端情况的选择建议

  • 我是新手,只抓一个小网站 → 直接用Selenium,简单粗暴
  • 我要写一个长期运行的大规模爬虫 → 首选Scrapy,必要时混用Selenium
  • 对方有Cloudflare/五秒盾等高级反爬 → Selenium + 指纹插件 + 代理池
  • 我需要极致的抓取速度 → Scrapy + 自定义下载中间件
相关推荐
wuyk55512 小时前
Spider-第14讲-表单提交与CSRF
前端·爬虫·python·elasticsearch·csrf
wuyk5553 天前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
wuyk5553 天前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
小宋10213 天前
AI 爬虫把大学图书馆站点拖垮:按行为指纹给爬虫分类、按类发配额、用边缘缓存分层,以带宽成本结构和真实用户 P95 延迟定档
人工智能·爬虫·分类
wuyk5554 天前
Spider-第10讲-SQLite持久化与去重
数据库·爬虫·sqlite
wuyk5554 天前
Spider-第09讲-三格式落盘CSV-Excel-JSON
爬虫·python·json·excel
wuyk5555 天前
Spider-第07讲-JSON接口与正则提取
爬虫·python·json
feasibility.5 天前
一物降一物?AI逆向没有终局:REA拆App,BLA设套,LASIK清场
人工智能·爬虫·github·逆向·skill·rea
wuyk5557 天前
Spider-第03讲-HTTP速通与读懂响应
网络·爬虫·网络协议·http
xyzzklk13 天前
在Open-WebUI中提升向量化速度
网络·人工智能·爬虫·ai·语言模型·自然语言处理·安卓