【python爬虫】scrapy在pycharm 调试

scrapy在pycharm 调试

1、使用scrapy创建一个项目

复制代码
scrapy startproject tutorial

2、在朋友pycharm中调试scrapy

2.1 通过文件run.py调试

在根目录下新建一个文件run.py(与scrapy.cfg文件的同一目录下), debug 'run'即可

复制代码
# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 对应的是爬虫名 在cmd运行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())

调试与运行

2.2 配置环境调试

复制cmdline.py到项目主目录

找到scrapy下的cmdline.py文件(比如我这里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py)复制一份到tutorial项目的根目录下(scrapy.cfg文件的同一目录下)

编缉文件调试运行配置

调试与运行

相关推荐
北斗落凡尘2 小时前
LangGraph 入门实战(2)
python·langchain
ttod_qzstudio2 小时前
Java 常用语法极简通关(五):类与对象——字段、方法、构造器、this 与 static
java·开发语言·python
jufeng13074 小时前
【系列:手搓自主 AI Agent:Hermes 架构原理剖析 · 第 1 篇】
人工智能·python·架构·agent
月光船幽幽4 小时前
影子模式下保护 logits 不被修改
人工智能·python·算法
前进再前进6 小时前
PyCharm 连接 HPC 时 Path to conda 一直转圈:一次 Remote Development 解决方案记录
pycharm
_oP_i7 小时前
python 后缀 mjs文件
开发语言·python
北斗落凡尘7 小时前
如何使用LangGraph(1)
python·langchain
Livia要学习8 小时前
Python装饰器
开发语言·python
大模型丫丫9 小时前
LangChain4j:Java 生态的 AI 应用开发利器
java·人工智能·python
circuitsosk9 小时前
向量数据库选型与性能压测:Milvus、Pinecone、Chroma在真实业务下的对比
数据库·python·pinecone·milvus·向量数据库·chroma