【python爬虫】scrapy在pycharm 调试

scrapy在pycharm 调试

1、使用scrapy创建一个项目

复制代码
scrapy startproject tutorial

2、在朋友pycharm中调试scrapy

2.1 通过文件run.py调试

在根目录下新建一个文件run.py(与scrapy.cfg文件的同一目录下), debug 'run'即可

复制代码
# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 对应的是爬虫名 在cmd运行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())

调试与运行

2.2 配置环境调试

复制cmdline.py到项目主目录

找到scrapy下的cmdline.py文件(比如我这里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py)复制一份到tutorial项目的根目录下(scrapy.cfg文件的同一目录下)

编缉文件调试运行配置

调试与运行

相关推荐
萌动的小火苗7 小时前
1、python基础面试题
java·开发语言·python
sunywz8 小时前
【从零搭建物联网智能充电桩系统】2、自定义二进制协议:设备为什么不用 JSON?
python·物联网·json
小叮当爱咖啡8 小时前
Day3.参数+Prompt三板斧
开发语言·python·prompt
菜冻鱼8 小时前
Python-pandas-索引与筛选
开发语言·笔记·python·numpy·pandas·学习方法
青 春 记 忆8 小时前
LeetCode 53. 最大子数组和|Python 解法详解
python·算法·leetcode
阿童木写作8 小时前
跨境电商图片翻译工具推荐:批量AI翻译+视频字幕+智能抠图
大数据·人工智能·python·音视频
鹿角片ljp8 小时前
Java面试复盘(二):String不可变、字符串常量池与字符串拼接
开发语言·python
讲温控就好了9 小时前
光刻温控的产业链价值:从精度指标到半导体制造竞争力
python·制造
南极星10059 小时前
2026电赛E题有感
python·opencv·电赛
看浪的路人9 小时前
第3讲:代码补全引擎
开发语言·windows·python