conda环境下在pycharm中调试scrapy项目

前提条件

  • 已经创建好了conda环境
  • 已经安装好了scrapy框架
  • 项目初始化完成

编写一个爬虫脚本

shell 复制代码
import scrapy


class StackOverflowSpider(scrapy.Spider):
    name = 'stackoverflow'
    start_urls = ['http://stackoverflow.com/questions?sort=votes']

    def parse(self, response):
        print("stackoverflow parse is run ....")

把脚本保存到spiders文件目录内

添加配置

conda环境对应的cmdline.py脚本

先在计算机目录中找到conda环境中安装的scrapy的comline.py位置。一般是:XXX\envs\scrapy_study\Lib\site-packages\scrapy\cmdline.py

配置pycharm

crawl 后面的脚本名就是我们前面编写脚本中name属性值。

debug 运行调试

相关推荐
万粉变现经纪人21 小时前
如何解决pip安装报错ModuleNotFoundError: No module named ‘cuml’问题
python·scrapy·beautifulsoup·pandas·ai编程·pip·scipy
hui函数1 天前
scrapy框架-day02
后端·爬虫·python·scrapy
递归不收敛1 天前
PyCharm项目上传GitHub仓库(笔记)
笔记·pycharm·github
程序员三明治2 天前
Python编辑器的安装及配置(Pycharm、Jupyter的安装)从0带你配置,小土堆视频
python·pycharm·编辑器
cyforkk2 天前
Anaconda配置环境变量和镜像
conda
❀搜不到3 天前
查询 conda + pip 装的包
windows·conda·pip
piaopiaolanghua3 天前
PyCharm旧版本下载地址
ide·python·pycharm
临风.3 天前
使用Pycharm进行远程ssh(以Featurize为例)
ide·pycharm·ssh·featurize
小叶lr3 天前
python 从pycharm部署到新环境
开发语言·python·pycharm
专注API从业者3 天前
Scrapy 集成 JD API:一种高效且合规的商品数据采集方案
大数据·数据库·scrapy