conda环境下在pycharm中调试scrapy项目

前提条件

  • 已经创建好了conda环境
  • 已经安装好了scrapy框架
  • 项目初始化完成

编写一个爬虫脚本

shell 复制代码
import scrapy


class StackOverflowSpider(scrapy.Spider):
    name = 'stackoverflow'
    start_urls = ['http://stackoverflow.com/questions?sort=votes']

    def parse(self, response):
        print("stackoverflow parse is run ....")

把脚本保存到spiders文件目录内

添加配置

conda环境对应的cmdline.py脚本

先在计算机目录中找到conda环境中安装的scrapy的comline.py位置。一般是:XXX\envs\scrapy_study\Lib\site-packages\scrapy\cmdline.py

配置pycharm

crawl 后面的脚本名就是我们前面编写脚本中name属性值。

debug 运行调试

相关推荐
迷路爸爸18013 小时前
让 VSCode 调试器像 PyCharm 一样显示 Tensor Shape、变量形状、变量长度、维度信息
ide·vscode·python·pycharm·debug·调试
一百天成为python专家18 小时前
python正则表达式(小白五分钟从入门到精通)
数据库·python·正则表达式·pycharm·python3.11
Hy行者勇哥1 天前
在 JetBrains 系列 IDE(如 IntelliJ IDEA、PyCharm 等)中如何新建一个 PlantUML 文件
ide·pycharm·intellij-idea
pk_xz1234561 天前
在Intel Mac的PyCharm中设置‘add bin folder to the path‘的解决方案
ide·人工智能·科技·算法·macos·pycharm·机器人
DAWN_T172 天前
Transforms
pytorch·python·机器学习·jupyter·pycharm
一百天成为python专家2 天前
python库之jieba 库
开发语言·人工智能·python·深度学习·机器学习·pycharm·python3.11
chhei.2 天前
使用Pycharm集成开发工具远程调试部署在虚拟机上的flask项目:超级详细的完整指南
ide·pycharm·flask
爱吃面条的猿2 天前
pycharm中自动补全方法返回变量
ide·python·pycharm
我是老孙2 天前
Spring Boot 应用中,配置的加载优先级
spring boot·后端·pycharm
-dzk-2 天前
【Flask】基础入门
后端·python·pycharm·django·flask·conda·pip