【python爬虫】scrapy在pycharm 调试

scrapy在pycharm 调试

1、使用scrapy创建一个项目

复制代码
scrapy startproject tutorial

2、在朋友pycharm中调试scrapy

2.1 通过文件run.py调试

在根目录下新建一个文件run.py(与scrapy.cfg文件的同一目录下), debug 'run'即可

复制代码
# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 对应的是爬虫名 在cmd运行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())

调试与运行

2.2 配置环境调试

复制cmdline.py到项目主目录

找到scrapy下的cmdline.py文件(比如我这里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py)复制一份到tutorial项目的根目录下(scrapy.cfg文件的同一目录下)

编缉文件调试运行配置

调试与运行

相关推荐
XYN6144 分钟前
【嵌入式学习3】UDP发送端、接收端
网络·笔记·python·网络协议·学习·udp
winfredzhang1 小时前
用 Python 构建一个简单的本地视频流媒体服务器
服务器·python·流媒体·手机端
urhero2 小时前
在Python软件中集成智能体:以百度文心一言和阿里通义千问为例
python·百度·文心一言
ZZZ_Tong2 小时前
CentOS 7安装Python3.12
linux·python·centos
小白学大数据2 小时前
如何避免Python爬虫重复抓取相同页面?
开发语言·爬虫·python·php
THe CHallEnge of THe BrAve2 小时前
anaconda3/conda依赖安装、环境配置、关联指定python版本
开发语言·python·conda
栩栩云生3 小时前
📥 x-cmd install | bkp - 极简备份利器,让你的数据安全无忧!
python·程序员·命令行
愤怒的可乐3 小时前
揭开 MCP 的神秘面纱:标准化 AI 上下文管理的未来(下)
人工智能·windows·python
拖拉机3 小时前
Python(一)变量和简单的数据类型
python
测试19983 小时前
Appium如何实现移动端UI自动化测试?
自动化测试·软件测试·python·测试工具·职场和发展·appium·测试用例