【python爬虫】scrapy在pycharm 调试

scrapy在pycharm 调试

1、使用scrapy创建一个项目

复制代码
scrapy startproject tutorial

2、在朋友pycharm中调试scrapy

2.1 通过文件run.py调试

在根目录下新建一个文件run.py(与scrapy.cfg文件的同一目录下), debug 'run'即可

复制代码
# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 对应的是爬虫名 在cmd运行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())

调试与运行

2.2 配置环境调试

复制cmdline.py到项目主目录

找到scrapy下的cmdline.py文件(比如我这里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py)复制一份到tutorial项目的根目录下(scrapy.cfg文件的同一目录下)

编缉文件调试运行配置

调试与运行

相关推荐
毕业设计7031 分钟前
(免费领源码)django空气净化器销售系统09218- java、PHP、python、C#、小程序、大数据、单片机、网络工程等)
python·scrapy·mysql·pycharm·django·flask·pandas
小小张说故事21 分钟前
Python 闭包到底捕获了啥?一个计数器例子讲透,别再背定义了
python
深蓝AI27 分钟前
AI Agent 点了发布却超时:一条回执丢失,为什么能造成两篇文章?
人工智能·python
怪奇云呼军1 小时前
教育试听预约后没到课,闪电智能 Voice Agent 如何做分层回访?
人工智能·python·算法·云计算·音视频
weixin199701080161 小时前
《淘宝TOP API:落地方案、接口边界与业务踩坑 —— 聚石塔内外价差 10 倍的真相》(附 Python 源码)
开发语言·python
梦想的颜色1 小时前
【编程实战】AI 时代 APP 开发全栈硬核指南:技术选型 + AI 架构 + 模型落地全维度决策
python·flutter·react native·react.js·ai·桌面应用·milvus
Madison-No72 小时前
多语言聊天大模型--测试报告
linux·git·python·selenium·jmeter·自动化·postman
鲲鹏ai2 小时前
盈启鲲鹏数字人招商政策
大数据·人工智能·python
荣码2 小时前
从0到1搭一个生产级RAG系统:串联前面21篇所有知识
java·python
小师兄吃牛肉3 小时前
Java语法 | 多重循环
java·开发语言·python