【python爬虫】scrapy在pycharm 调试

scrapy在pycharm 调试

1、使用scrapy创建一个项目

复制代码
scrapy startproject tutorial

2、在朋友pycharm中调试scrapy

2.1 通过文件run.py调试

在根目录下新建一个文件run.py(与scrapy.cfg文件的同一目录下), debug 'run'即可

复制代码
# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 对应的是爬虫名 在cmd运行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())

调试与运行

2.2 配置环境调试

复制cmdline.py到项目主目录

找到scrapy下的cmdline.py文件(比如我这里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py)复制一份到tutorial项目的根目录下(scrapy.cfg文件的同一目录下)

编缉文件调试运行配置

调试与运行

相关推荐
木头左2 小时前
逻辑回归的Python实现与优化
python·算法·逻辑回归
quant_19863 小时前
R语言如何接入实时行情接口
开发语言·经验分享·笔记·python·websocket·金融·r语言
失败又激情的man8 小时前
python之requests库解析
开发语言·爬虫·python
打酱油的;8 小时前
爬虫-request处理get
爬虫·python·django
用什么都重名10 小时前
MinerU:高效智能PDF文档解析工具完全指南
人工智能·python·pdf·mineru·makedown
倔强青铜三10 小时前
苦练Python第4天:Python变量与数据类型入门
前端·后端·python
这我可不懂10 小时前
Python 项目快速部署到 Linux 服务器基础教程
linux·服务器·python
倔强青铜三10 小时前
苦练Python第3天:Hello, World! + input()
前端·后端·python
小白学大数据10 小时前
Python爬取闲鱼价格趋势并可视化分析
开发语言·python
七月初七淮水竹亭~11 小时前
Pycharm 报错 Environment location directory is not empty 如何解决
ide·python·pycharm