Ubuntu20.04 使用scrapy-splash爬取动态网页

我们要先安装splash服务,使用dock安装,如果dock没有安装,请参考我的上一篇博文:

按照官方文档:https://splash.readthedocs.io/en/stable/install.html

1.下载splash

复制代码
 sudo docker pull scrapinghub/splash

2.安装scrapy,它是python的包,我们用包管理器安装:

复制代码
pip3 install scrapy

3.创建scrapy项目,神似与django

复制代码
 scrapy startproject baiduSpider

其中报错了

复制代码
 cannot import name 'PseudoElement' from 'cssselect.parser' 

是因为版本不兼容的原因,直接用下面的命令升级到新版尝试解决

复制代码
 pip3 install --upgrade cssselect

最后,尝试成功,解决了依赖。

4.按照scrapy-splash模块,按照官方文档安装:
https://pypi.org/project/scrapy-splash/

复制代码
 pip3 install scrapy-splash

在这里,我指定了pip3,怕弄混淆。

5.后台运行Splash服务

复制代码
 docker run -d -p 8050:8050 scrapinghub/splash

因为用到是8050端口,可以使用如下程序,查到进程

复制代码
sudo lsof -i :8050

再用kill,结束进程用来释放端口。

若要重新用docker在8050端口启动进程,请重启docker服务,来更新状态。

复制代码
systemctl restart docker

6.如果你要远程访问splash服务,使用命令

复制代码
docker run -d -p 0.0.0.0:yyyy:8050 scrapinghub/splash

其中,yyyy代表端口号。重要的两点切记

6.1ufw暴露该端口

6.2. 如果是云服务器,很多厂商会设置安全组,请前往服务器控制中心,暴露yyyy端口

6.3 8050是splash服务默认窗口,更改的办法应该是进入docker容器内部,改动配置文件才可以变更。所以在指定端口时候不要动8050,答应我好吗?就因为这个,我查了一天的问题,一天啊整整一天!!!!!!!!!!!!!!!!!!!!!!这个问题对世界基本毫无意义,但是请相信它对我太有意义了,虽然我改正之后正确的访问了splash服务,没改变什么,但是我好开心!!!再说一遍,我好开心。

7.反思:

命令的每个参数最好都搞清楚意义

8.因为splash其实是一个scrapy框架的插件scrapy-splah要用的服务,因此,我们要学习三个东西,包括splash的使用、scrapy的使用、以及用python操纵splash的插件scrapy-splash的使用。

splash的学习

占坑

scrapy的学习

老办法,我们从官方文档开始。
https://doc.scrapy.org/en/latest/intro/tutorial.html

占坑

scrapy-splash具体爬取动态网页,见另一篇博文

占坑

相关推荐
MongoVIP2 天前
Scrapy爬虫实战:正则高效解析豆瓣电影
python·scrapy
深蓝电商API3 天前
Scrapy 框架深度解析:架构、组件与工作流程
scrapy·架构
深蓝电商API4 天前
Scrapy 中间件详解:自定义下载器与爬虫的 “拦截器”
爬虫·scrapy·中间件
计算机毕设残哥5 天前
基于Hadoop+Spark的人体体能数据分析与可视化系统开源实现
大数据·hadoop·python·scrapy·数据分析·spark·dash
计算机毕设残哥8 天前
基于Hadoop+Spark的商店购物趋势分析与可视化系统技术实现
大数据·hadoop·python·scrapy·spark·django·dash
万粉变现经纪人13 天前
如何解决 pip install 安装报错 ModuleNotFoundError: No module named ‘tokenizers’ 问题
python·selenium·测试工具·scrapy·beautifulsoup·fastapi·pip
B站_计算机毕业设计之家15 天前
✅ 基于Scrapy与朴素贝叶斯的校园舆情监测与预警系统 Django+B/S架构 可视化大屏 机器学习
python·scrapy·架构·数据分析·django·情感分析·舆情分析
万粉变现经纪人25 天前
如何解决pip安装报错ModuleNotFoundError: No module named ‘cuml’问题
python·scrapy·beautifulsoup·pandas·ai编程·pip·scipy
hui函数25 天前
scrapy框架-day02
后端·爬虫·python·scrapy
专注API从业者1 个月前
Scrapy 集成 JD API:一种高效且合规的商品数据采集方案
大数据·数据库·scrapy