【python爬虫】scrapy在pycharm 调试

scrapy在pycharm 调试

1、使用scrapy创建一个项目

复制代码
scrapy startproject tutorial

2、在朋友pycharm中调试scrapy

2.1 通过文件run.py调试

在根目录下新建一个文件run.py(与scrapy.cfg文件的同一目录下), debug 'run'即可

复制代码
# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 对应的是爬虫名 在cmd运行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())

调试与运行

2.2 配置环境调试

复制cmdline.py到项目主目录

找到scrapy下的cmdline.py文件(比如我这里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py)复制一份到tutorial项目的根目录下(scrapy.cfg文件的同一目录下)

编缉文件调试运行配置

调试与运行

相关推荐
古月居GYH2 小时前
【数据分析】如何在PyCharm中高效配置和使用SQL
ide·sql·pycharm
云泽野3 小时前
【Java|集合类】list遍历的6种方式
java·python·list
IMPYLH4 小时前
Python 的内置函数 reversed
笔记·python
小赖同学啊6 小时前
物联网数据安全区块链服务
开发语言·python·区块链
码荼7 小时前
学习开发之hashmap
java·python·学习·哈希算法·个人开发·小白学开发·不花钱不花时间crud
小陈phd8 小时前
李宏毅机器学习笔记——梯度下降法
人工智能·python·机器学习
kk爱闹8 小时前
【挑战14天学完python和pytorch】- day01
android·pytorch·python
Blossom.1188 小时前
机器学习在智能建筑中的应用:能源管理与环境优化
人工智能·python·深度学习·神经网络·机器学习·机器人·sklearn
亚力山大抵8 小时前
实验六-使用PyMySQL数据存储的Flask登录系统-实验七-集成Flask-SocketIO的实时通信系统
后端·python·flask
showyoui8 小时前
Python 闭包(Closure)实战总结
开发语言·python