【python爬虫】scrapy在pycharm 调试

scrapy在pycharm 调试

1、使用scrapy创建一个项目

复制代码
scrapy startproject tutorial

2、在朋友pycharm中调试scrapy

2.1 通过文件run.py调试

在根目录下新建一个文件run.py(与scrapy.cfg文件的同一目录下), debug 'run'即可

复制代码
# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 对应的是爬虫名 在cmd运行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())

调试与运行

2.2 配置环境调试

复制cmdline.py到项目主目录

找到scrapy下的cmdline.py文件(比如我这里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py)复制一份到tutorial项目的根目录下(scrapy.cfg文件的同一目录下)

编缉文件调试运行配置

调试与运行

相关推荐
m0_747854521 分钟前
企业级SQL注入防护手段_使用专用的数据库安全网关
jvm·数据库·python
weixin_424999363 分钟前
Golang reflect反射怎么用_Golang反射教程【通俗】
jvm·数据库·python
2301_815279525 分钟前
mysql如何配置慢查询日志记录_开启long_query_time并分析
jvm·数据库·python
InfinteJustice5 分钟前
如何在 CGO 中正确处理带 const char- 参数的 C 回调函数
jvm·数据库·python
m0_493934537 分钟前
mysql如何使用HAVING过滤分组_mysql分组后的二次筛选
jvm·数据库·python
石榴树下的七彩鱼8 分钟前
智能抠图 API 接入实战:3 行代码实现图片自动去背景(Python / Java / PHP / JS)
java·图像处理·人工智能·python·php·api·抠图
2301_7641505610 分钟前
如何在 Laravel Excel 导入时校验并阻止重复列值
jvm·数据库·python
telllong10 分钟前
Python异步编程从入门到不懵:asyncio实战踩坑指南
开发语言·python
像一只黄油飞12 分钟前
第二章-01-字面量
笔记·python·学习·零基础
2401_8716965212 分钟前
PHP源码对主板M.2插槽数量有要求吗_扩展性规划建议【方法】
jvm·数据库·python