conda环境下在pycharm中调试scrapy项目

前提条件

  • 已经创建好了conda环境
  • 已经安装好了scrapy框架
  • 项目初始化完成

编写一个爬虫脚本

shell 复制代码
import scrapy


class StackOverflowSpider(scrapy.Spider):
    name = 'stackoverflow'
    start_urls = ['http://stackoverflow.com/questions?sort=votes']

    def parse(self, response):
        print("stackoverflow parse is run ....")

把脚本保存到spiders文件目录内

添加配置

conda环境对应的cmdline.py脚本

先在计算机目录中找到conda环境中安装的scrapy的comline.py位置。一般是:XXX\envs\scrapy_study\Lib\site-packages\scrapy\cmdline.py

配置pycharm

crawl 后面的脚本名就是我们前面编写脚本中name属性值。

debug 运行调试

相关推荐
失败又激情的man5 小时前
Scrapy进阶封装(第四阶段:中间件设置,动态UA,ip代理池)
爬虫·scrapy·中间件
万千思绪6 小时前
【PyCharm 2025.1.2配置debug】
ide·python·pycharm
旷世奇才李先生17 小时前
PyCharm 安装使用教程
ide·python·pycharm
Python×CATIA工业智造1 天前
Frida RPC高级应用:动态模拟执行Android so文件实战指南
开发语言·python·pycharm
回家吃月饼1 天前
pycharm2018配置gitee操作
pycharm·gitee
Naiva1 天前
【小技巧】Python+PyCharm IDE 配置解释器出错,环境配置不完整或不兼容。(小智AI、MCP、聚合数据、实时新闻查询、NBA赛事查询)
ide·python·pycharm
阳懿2 天前
【已解决】执行conda init提示No action taken.
conda
try2find2 天前
移动conda虚拟环境的安装目录
linux·运维·conda
古月居GYH2 天前
【数据分析】如何在PyCharm中高效配置和使用SQL
ide·sql·pycharm
起个名好难00003 天前
conda 常用指令
conda