【python爬虫】scrapy在pycharm 调试

scrapy在pycharm 调试

1、使用scrapy创建一个项目

复制代码
scrapy startproject tutorial

2、在朋友pycharm中调试scrapy

2.1 通过文件run.py调试

在根目录下新建一个文件run.py(与scrapy.cfg文件的同一目录下), debug 'run'即可

复制代码
# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 对应的是爬虫名 在cmd运行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())

调试与运行

2.2 配置环境调试

复制cmdline.py到项目主目录

找到scrapy下的cmdline.py文件(比如我这里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py)复制一份到tutorial项目的根目录下(scrapy.cfg文件的同一目录下)

编缉文件调试运行配置

调试与运行

相关推荐
itzixiao14 小时前
L1-051 打折(5分)[java][python]
java·python·算法
HappyAcmen14 小时前
10.常见报错排查与基础调试
开发语言·python
山川而川-R14 小时前
Windows新系统_安装anaconda-2026-4.24
python
ID_1800790547314 小时前
Python 实现京东商品详情 API 数据准确性校验(极简可直接用)
java·前端·python
码农的神经元14 小时前
配电网智能决策平台:从风险感知到自愈控制的 Python 实现
开发语言·python
zhaoshuzhaoshu14 小时前
主流 AI 编程助手工具特点与对比
人工智能·python
Daydream.V14 小时前
Python 多线程编程从入门到精通:基础 + 实战 + 避坑全攻略
python·线程·threading·线程教学
神仙别闹15 小时前
基于Python实现(控制台)个人信息系统
开发语言·python
a95114164215 小时前
c++如何解析二进制协议中的可选字段读取逻辑及其反序列化【详解】
jvm·数据库·python
曾阿伦15 小时前
AES 加密解密详解及示例
python·加密解密