【python爬虫】scrapy在pycharm 调试

scrapy在pycharm 调试

1、使用scrapy创建一个项目

复制代码
scrapy startproject tutorial

2、在朋友pycharm中调试scrapy

2.1 通过文件run.py调试

在根目录下新建一个文件run.py(与scrapy.cfg文件的同一目录下), debug 'run'即可

复制代码
# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 对应的是爬虫名 在cmd运行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())

调试与运行

2.2 配置环境调试

复制cmdline.py到项目主目录

找到scrapy下的cmdline.py文件(比如我这里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py)复制一份到tutorial项目的根目录下(scrapy.cfg文件的同一目录下)

编缉文件调试运行配置

调试与运行

相关推荐
老歌老听老掉牙5 分钟前
SymPy 中矩阵乘法的顺序与元素类型分析
python·矩阵·sympy
bosins35 分钟前
基于Python实现PDF文件个人隐私信息检查
开发语言·python·pdf
bosins35 分钟前
基于Python开发PDF文件元数据查看器
开发语言·python·pdf
小北方城市网42 分钟前
第 10 课:Python 全体系实战整合与职业进阶指南(完结篇)
大数据·开发语言·数据库·python
WXG101143 分钟前
【Flask-10】modbus tcp通信
python·tcp/ip·flask
540_54044 分钟前
ADVANCE Day31
人工智能·python·机器学习
The star"'1 小时前
Python
开发语言·python·pygame
luoluoal1 小时前
基于python的文件销毁工具(源码+文档)
python·mysql·django·毕业设计·源码
量化风云1 小时前
2026量化新基建(二) - sqlite 与 sqlite-utils
数据库·python·sqlite·量化交易·量化交易课程
yuhaiqun19891 小时前
发现前端性能瓶颈的巧妙方法:建立“现象归因→分析定位→优化验证”的闭环思维
前端·经验分享·笔记·python·学习·课程设计·学习方法