【python爬虫】scrapy在pycharm 调试

scrapy在pycharm 调试

1、使用scrapy创建一个项目

复制代码
scrapy startproject tutorial

2、在朋友pycharm中调试scrapy

2.1 通过文件run.py调试

在根目录下新建一个文件run.py(与scrapy.cfg文件的同一目录下), debug 'run'即可

复制代码
# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 对应的是爬虫名 在cmd运行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())

调试与运行

2.2 配置环境调试

复制cmdline.py到项目主目录

找到scrapy下的cmdline.py文件(比如我这里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py)复制一份到tutorial项目的根目录下(scrapy.cfg文件的同一目录下)

编缉文件调试运行配置

调试与运行

相关推荐
007php0079 分钟前
mac笔记本中在PHP中调用Java JAR包的指南
java·ide·python·面试·职场和发展·pycharm·php
智航GIS18 分钟前
ArcGIS脚本工具之---左上至右下分组编号
python·arcgis
莫问前路漫漫1 小时前
Python包管理工具pip完整安装教程
开发语言·python
_codemonster1 小时前
手语识别及翻译项目实战系列(四)整体架构
人工智能·python·计算机视觉
Java程序员威哥1 小时前
Arthas+IDEA实战:Java线上问题排查完整流程(Spring Boot项目落地)
java·开发语言·spring boot·python·c#·intellij-idea
2401_841495641 小时前
【LeetCode刷题】K 个一组翻转链表
数据结构·python·算法·leetcode·链表·翻转链表·迭代翻转
测试摆渡媛1 小时前
Excel模板填充工具(工具&脚本分享)
python·数据挖掘·pandas
夔曦1 小时前
【python】月报考勤工时计算
开发语言·python
fl1768311 小时前
基于python实现PDF批量加水印工具
开发语言·python·pdf
i02081 小时前
Prompt
python