2024Windows11最新安装pyspider

星期二的风2024-05-11 22:21

1、创建conda虚拟环境

conda create -n _pyspider python==3.6

虚拟环境建好后会自动有 wheel库

2、配置phantom浏览器

参考phantom安装

3、conda安装pycurl

conda install pycurl

4、一次性安装各种依赖

requirements.txt内容如下：

Flask==0.10
Jinja2==2.7
chardet==3.0.4
cssselect==0.9
lxml==4.3.3
pyquery==1.4.0
requests==2.24.0
tornado==4.5.3
mysql-connector-python==8.0.16
pika==1.1.0
pymongo==3.9.0
Flask-Login==0.2.11
u-msgpack-python==1.6
click==6.6
SQLAlchemy==1.3.10
six==1.10.0
amqp==2.4.0
redis==2.10.6
redis-py-cluster==1.3.6
kombu==4.4.0
psycopg2==2.8.2
elasticsearch==2.3.0
tblib==1.4.0

pip install -r requirements.txt  -i https://mirrors.aliyun.com/pypi/simple/

5、安装pyspider

pip install pyspider -i https://mirrors.aliyun.com/pypi/simple/

6、替换async，不然会报错

因为async从python3.7开始不能用作参数名了，

将以下3个文件里面的async随意换个名字即可（比如async_）

../python3.x/site-packages/pyspider/run.py  共4处

../python3.x/site-packages/pyspider/fetcher/tornado_fetcher.py 共5处

../python3.x/site-packages/pyspider/webui/app.py  共1处

7、终端执行pyspider all

运行成功界面如下：

浏览器中输入: localhost:5000，出现如下界面表示成功！

注：试了python3.8版本，发现总是报乱七八糟的错，索性直接用python3.6的，能run就行。