【python爬虫】scrapy在pycharm 调试

scrapy在pycharm 调试

1、使用scrapy创建一个项目

复制代码
scrapy startproject tutorial

2、在朋友pycharm中调试scrapy

2.1 通过文件run.py调试

在根目录下新建一个文件run.py(与scrapy.cfg文件的同一目录下), debug 'run'即可

复制代码
# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 对应的是爬虫名 在cmd运行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())

调试与运行

2.2 配置环境调试

复制cmdline.py到项目主目录

找到scrapy下的cmdline.py文件(比如我这里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py)复制一份到tutorial项目的根目录下(scrapy.cfg文件的同一目录下)

编缉文件调试运行配置

调试与运行

相关推荐
2301_764150563 分钟前
Redis如何控制只读从库的安全_配置replica-read-only防止从节点数据被意外篡改
jvm·数据库·python
DaqunChen6 分钟前
SQL如何检测分组内是否存在满足条件的数据_EXISTS结合分组
jvm·数据库·python
段一凡-华北理工大学7 分钟前
【大模型+知识图谱+工业智能体技术架构】~系列文章02:工业知识图谱的构建与知识表示学习方法!!!
数据结构·python·神经网络·知识图谱·物理系统·神经逆向渲染
2301_803538959 分钟前
Bootstrap 5栅格系统的五列等分布局方案
jvm·数据库·python
船长Talk11 分钟前
Pandas数据清洗完整指南:8大核心技巧详解
python
粉嘟小飞妹儿11 分钟前
如何用 error 事件全局捕获页面图片或脚本加载失败状态
jvm·数据库·python
2301_8152795212 分钟前
如何在导航栏中实现左右两端对齐的菜单项布局
jvm·数据库·python
船长Talk15 分钟前
NumPy+Pandas数据分析基础完全指南
python
Wyz2012102416 分钟前
宝塔面板安装后显示无法连接数据库_检查MySQL服务状态
jvm·数据库·python
2301_7775993718 分钟前
Redis如何优化大量对象存储_利用Hash结构减少内存碎片占用
jvm·数据库·python