conda环境下在pycharm中调试scrapy项目

前提条件

  • 已经创建好了conda环境
  • 已经安装好了scrapy框架
  • 项目初始化完成

编写一个爬虫脚本

shell 复制代码
import scrapy


class StackOverflowSpider(scrapy.Spider):
    name = 'stackoverflow'
    start_urls = ['http://stackoverflow.com/questions?sort=votes']

    def parse(self, response):
        print("stackoverflow parse is run ....")

把脚本保存到spiders文件目录内

添加配置

conda环境对应的cmdline.py脚本

先在计算机目录中找到conda环境中安装的scrapy的comline.py位置。一般是:XXX\envs\scrapy_study\Lib\site-packages\scrapy\cmdline.py

配置pycharm

crawl 后面的脚本名就是我们前面编写脚本中name属性值。

debug 运行调试

相关推荐
老兵发新帖1 小时前
Ubuntu 上安装 Conda
linux·ubuntu·conda
一眼青苔4 小时前
python环境使用conda,conda如何升级默认的python版本
开发语言·python·conda
小杨40411 小时前
python入门系列二十(peewee)
人工智能·python·pycharm
biter008812 小时前
ubuntu(28):ubuntu系统多版本conda和多版本cuda共存
linux·人工智能·ubuntu·conda
内网渗透12 小时前
Python 虚拟环境管理:venv 与 conda 的选择与配置
开发语言·python·conda·虚拟环境·venv
2501_9153743513 小时前
如何配置 Conda 使用镜像源加速
conda
Python×CATIA工业智造14 小时前
基于CATIA参数化管道建模的自动化插件开发实践——NX建模之管道命令的参考与移植
python·pycharm·catia二次开发
Anarkh_Lee2 天前
Python 项目环境配置与 Vanna 安装避坑指南 (PyCharm + venv)
人工智能·python·pycharm
love530love2 天前
PyCharm 链接 Podman Desktop 的 podman-machine-default Linux 虚拟环境
linux·运维·windows·pycharm·podman
2501_915374352 天前
使用 Conda 创建新环境
conda