conda环境下在pycharm中调试scrapy项目

前提条件

  • 已经创建好了conda环境
  • 已经安装好了scrapy框架
  • 项目初始化完成

编写一个爬虫脚本

shell 复制代码
import scrapy


class StackOverflowSpider(scrapy.Spider):
    name = 'stackoverflow'
    start_urls = ['http://stackoverflow.com/questions?sort=votes']

    def parse(self, response):
        print("stackoverflow parse is run ....")

把脚本保存到spiders文件目录内

添加配置

conda环境对应的cmdline.py脚本

先在计算机目录中找到conda环境中安装的scrapy的comline.py位置。一般是:XXX\envs\scrapy_study\Lib\site-packages\scrapy\cmdline.py

配置pycharm

crawl 后面的脚本名就是我们前面编写脚本中name属性值。

debug 运行调试

相关推荐
linweidong11 小时前
RTX 4090 Ubuntu + ComfyUI + comfy-kitchen 0.2.41 完整部署文档
机器学习·云原生·conda·pandas·scikit-learn
承渊政道1 天前
【Python编程—从入门到实践】(用户账户:给Django网站装上登录系统,让每个人拥有自己的学习笔记)
python·学习·pycharm·django
承渊政道1 天前
【Python编程—从入门到实践】(设置样式并部署:给Django网站换新装,把学习笔记发布到互联网)
python·学习·pycharm·django
2601_967980113 天前
世界上最好的Python编辑器是什么?我投PyCharm一票
ide·python·pycharm·数据科学·jupyter notebook
承渊政道3 天前
【Python编程—从入门到实践】(记分与闯关:用Python+Pygame,打造越战越精彩的太空大战!)
开发语言·python·pycharm·游戏程序·pygame
2601_967987379 天前
pycharm如何运行python代码
pycharm·版本控制·python代码·调试工具·运行环境
Thanks_ks9 天前
【第 006 讲】搭建 PyCharm 开发环境:PyCharm 的下载与安装 | 初始设置与常用配置
ide·python·pycharm·开发工具·jetbrains·开发环境·集成开发环境
B2_Proxy13 天前
Scrapy 代理池进阶:如何构建基于“静态长效 IP”的调度机制与健康度巡检?
scrapy
Blockbuater_drug14 天前
OpenMM分子动力学模拟02 安装:Linux:conda 一条命令装通 GPU 加速的分子模拟环境
linux·conda·cuda·gpu驱动·pythonpath·openmm安装
汤米粥14 天前
cmd手动创建的Django项目怎么用社区版Pycharm运行起来
python·pycharm·django