【python爬虫】scrapy在pycharm 调试

scrapy在pycharm 调试

1、使用scrapy创建一个项目

复制代码
scrapy startproject tutorial

2、在朋友pycharm中调试scrapy

2.1 通过文件run.py调试

在根目录下新建一个文件run.py(与scrapy.cfg文件的同一目录下), debug 'run'即可

复制代码
# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 对应的是爬虫名 在cmd运行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())

调试与运行

2.2 配置环境调试

复制cmdline.py到项目主目录

找到scrapy下的cmdline.py文件(比如我这里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py)复制一份到tutorial项目的根目录下(scrapy.cfg文件的同一目录下)

编缉文件调试运行配置

调试与运行

相关推荐
接针23 分钟前
UV 常用命令
python·uv
无垠的广袤2 小时前
【工业树莓派 CM0 Dev Board】扩展板设计
linux·python·嵌入式硬件·pcb设计·模块化·传感器
Yolanda_20222 小时前
在vscode终端中可使用pip,但是cmd终端中找不到命令 pip问题的解决
vscode·python·conda·pip
2301_764441333 小时前
用动力学系统(微分方程)为 Kernberg 的客体关系单元提供数学化的操作定义,把“自体—客体“这对心理结构建模成一个二维耦合系统
数据结构·python·算法·数学建模
dogstarhuang3 小时前
用 Doubao-Seed-Evolving + Python 免费写一个网页正文提取工具(实战教程)
爬虫·python·ai编程
猫头虎3 小时前
什么是ZCode for GLM-5.2?
开发语言·人工智能·python·科技·算法·ai编程·ai写作
心运软件4 小时前
Python实战:中国大学排行榜数据采集与可视化大屏
后端·python
长不胖的路人甲4 小时前
什么是赫夫曼树(哈夫曼树 / Huffman Tree)
python·算法·霍夫曼树
魔镜er4 小时前
03-张量
人工智能·pytorch·python
37.2℃9955 小时前
Claude Design哪个公司技术好
python·设计模式