【python爬虫】scrapy在pycharm 调试

scrapy在pycharm 调试

1、使用scrapy创建一个项目

复制代码
scrapy startproject tutorial

2、在朋友pycharm中调试scrapy

2.1 通过文件run.py调试

在根目录下新建一个文件run.py(与scrapy.cfg文件的同一目录下), debug 'run'即可

复制代码
# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 对应的是爬虫名 在cmd运行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())

调试与运行

2.2 配置环境调试

复制cmdline.py到项目主目录

找到scrapy下的cmdline.py文件(比如我这里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py)复制一份到tutorial项目的根目录下(scrapy.cfg文件的同一目录下)

编缉文件调试运行配置

调试与运行

相关推荐
databook8 分钟前
Manim物理模拟:别自己写欧拉了!
python·数学·动效
香蕉鼠片1 小时前
Python进阶学习
开发语言·python
亚亚的学习和分享2 小时前
python练习:人生模拟器(简易版)
python
全糖可乐气泡水2 小时前
Codex适配国产信创环境安装部署与技术适配全解析
开发语言·git·python·算法·百度
LeocenaY2 小时前
搜集的一些测开面试题
开发语言·python
嗝o゚2 小时前
昇腾CANN ge 仓的图优化 Pass:哪些 Pass 真正影响推理性能
pytorch·python·深度学习·cann·ge-pass
深度先生3 小时前
Conda 全面讲解——数据科学家的标配工具
python
深度先生3 小时前
虚拟环境:别让包打架
python
漠效4 小时前
随机代理‌IP访问脚本
开发语言·python
SilentSamsara4 小时前
元类与 __init_subclass__:类是如何被“创建“出来的
开发语言·python·青少年编程