conda环境下在pycharm中调试scrapy项目

前提条件

  • 已经创建好了conda环境
  • 已经安装好了scrapy框架
  • 项目初始化完成

编写一个爬虫脚本

shell 复制代码
import scrapy


class StackOverflowSpider(scrapy.Spider):
    name = 'stackoverflow'
    start_urls = ['http://stackoverflow.com/questions?sort=votes']

    def parse(self, response):
        print("stackoverflow parse is run ....")

把脚本保存到spiders文件目录内

添加配置

conda环境对应的cmdline.py脚本

先在计算机目录中找到conda环境中安装的scrapy的comline.py位置。一般是:XXX\envs\scrapy_study\Lib\site-packages\scrapy\cmdline.py

配置pycharm

crawl 后面的脚本名就是我们前面编写脚本中name属性值。

debug 运行调试

相关推荐
~|Bernard|3 小时前
在 PyCharm 里怎么“点鼠标”完成指令同样的运行操作
算法·conda
您的通讯录好友8 小时前
conda环境导出
linux·windows·conda
Python×CATIA工业智造21 小时前
Python索引-值对迭代完全指南:从基础到高性能系统设计
python·pycharm
剑客的茶馆2 天前
新服务器从0开始搭配Ubuntu+Conda+Docker+Dify
服务器·ubuntu·docker·conda·dify
豆浩宇2 天前
Conda环境隔离和PyCharm配置,完美同时运行PaddlePaddle和PyTorch
人工智能·pytorch·算法·计算机视觉·pycharm·conda·paddlepaddle
困鲲鲲2 天前
Conda 包管理器与环境管理使用指南
conda
Python×CATIA工业智造2 天前
Python带状态生成器完全指南:从基础到高并发系统设计
python·pycharm
摆烂z2 天前
Conda 使用py环境隔离
conda
Python×CATIA工业智造3 天前
Python迭代协议完全指南:从基础到高并发系统实现
python·pycharm
2301_767113983 天前
Conda 常用命令大全
conda