conda环境下在pycharm中调试scrapy项目

前提条件

  • 已经创建好了conda环境
  • 已经安装好了scrapy框架
  • 项目初始化完成

编写一个爬虫脚本

shell 复制代码
import scrapy


class StackOverflowSpider(scrapy.Spider):
    name = 'stackoverflow'
    start_urls = ['http://stackoverflow.com/questions?sort=votes']

    def parse(self, response):
        print("stackoverflow parse is run ....")

把脚本保存到spiders文件目录内

添加配置

conda环境对应的cmdline.py脚本

先在计算机目录中找到conda环境中安装的scrapy的comline.py位置。一般是:XXX\envs\scrapy_study\Lib\site-packages\scrapy\cmdline.py

配置pycharm

crawl 后面的脚本名就是我们前面编写脚本中name属性值。

debug 运行调试

相关推荐
hljqfl1 小时前
pip安装第三方库,但PyCharm中却无法识别
ide·pycharm·pip
Monee..2 小时前
linux里安装pip和conda
linux·conda·pip
THe CHallEnge of THe BrAve2 小时前
‘conda‘ 不是内部或外部命令,也不是可运行的程序或批处理文件
conda
海天一色y1 天前
Pycharm(十一):字符串练习题
ide·python·pycharm
Alger_Hamlet1 天前
Pycharm 2024.3 Python开发工具
ide·python·pycharm
奔跑草-2 天前
【服务端】使用conda虚拟环境部署Django项目
python·django·conda
豆芽8192 天前
Conda配置Python环境
python·conda·pip
MobiCetus2 天前
有关pip与conda的介绍
linux·windows·python·ubuntu·金融·conda·pip
milo.qu2 天前
AI人工智能-PyCharm的介绍&安装&应用
人工智能·python·pycharm
Wwwilling2 天前
docker中怎么把docker中的python package转成conda,目前还没有conda
python·docker·conda