【python爬虫】scrapy在pycharm 调试

scrapy在pycharm 调试

1、使用scrapy创建一个项目

复制代码
scrapy startproject tutorial

2、在朋友pycharm中调试scrapy

2.1 通过文件run.py调试

在根目录下新建一个文件run.py(与scrapy.cfg文件的同一目录下), debug 'run'即可

复制代码
# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 对应的是爬虫名 在cmd运行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())

调试与运行

2.2 配置环境调试

复制cmdline.py到项目主目录

找到scrapy下的cmdline.py文件(比如我这里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py)复制一份到tutorial项目的根目录下(scrapy.cfg文件的同一目录下)

编缉文件调试运行配置

调试与运行

相关推荐
2501_941111821 分钟前
使用Python进行网络设备自动配置
jvm·数据库·python
源码之家5 分钟前
基于python租房大数据分析系统 房屋数据分析推荐 scrapy爬虫+可视化大屏 贝壳租房网 计算机毕业设计 推荐系统(源码+文档)✅
大数据·爬虫·python·scrapy·数据分析·推荐算法·租房
源码之家10 分钟前
机器学习:基于python租房推荐系统 预测算法 协同过滤推荐算法 房源信息 可视化 机器学习-线性回归预测模型 Flask框架(源码+文档)✅
大数据·python·算法·机器学习·数据分析·线性回归·推荐算法
循环过三天13 分钟前
7.7、Python-常用内置函数
笔记·python·学习
闲人编程39 分钟前
【指南】为你的开源Python项目编写完善的文档(Sphinx)
python·开源·文档·sphinx·算法改进·codecapsule
Hello_WOAIAI2 小时前
4.2 python多线程编程:threading 模块深度解析
开发语言·python
树下水月2 小时前
python 连接hive2 数据库
开发语言·数据库·python
小白宗轩2 小时前
vsCode的java配置
java·vscode·python
xuehaisj3 小时前
如何使用yolo11-C3k2-MambaOut-UniRepLK模型实现历史文化名城Filarmoniya建筑检测识别
python
FreeCode3 小时前
使用LangSmith评估智能体
python·langchain·agent