【python爬虫】scrapy在pycharm 调试

scrapy在pycharm 调试

1、使用scrapy创建一个项目

复制代码
scrapy startproject tutorial

2、在朋友pycharm中调试scrapy

2.1 通过文件run.py调试

在根目录下新建一个文件run.py(与scrapy.cfg文件的同一目录下), debug 'run'即可

复制代码
# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 对应的是爬虫名 在cmd运行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())

调试与运行

2.2 配置环境调试

复制cmdline.py到项目主目录

找到scrapy下的cmdline.py文件(比如我这里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py)复制一份到tutorial项目的根目录下(scrapy.cfg文件的同一目录下)

编缉文件调试运行配置

调试与运行

相关推荐
2301_810730107 分钟前
python第四次作业
数据结构·python·算法
马剑威(威哥爱编程)8 分钟前
Libvio.link爬虫技术解析:搞定反爬机制
爬虫·python
zhougl99616 分钟前
Java 枚举类(enum)详解
java·开发语言·python
恋爱绝缘体120 分钟前
Java语言提供了八种基本类型。六种数字类型【函数基数噶】
java·python·算法
serve the people22 分钟前
python环境搭建 (三) FastAPI 与 Flask 对比
python·flask·fastapi
断眉的派大星1 小时前
Python多线程编程全解析
python
铁手飞鹰1 小时前
[深度学习]Vision Transformer
人工智能·pytorch·python·深度学习·transformer
weixin_395448911 小时前
average_weights.py
pytorch·python·深度学习
蒜香拿铁1 小时前
【第一章】爬虫概述
爬虫·python
ID_180079054731 小时前
Python调用淘宝评论API:从入门到首次采集全流程
服务器·数据库·python