【Python爬虫】Scrapy框架实战

---

开发流程

---

一、创建项目

scrapy startproject 项目名

生成每个文件的功能：

二、明确目标

在items.py文件中进行建模

三、创建爬虫

1.创建爬虫

scrapy genspider 爬虫名 允许的域

3.2 完成爬虫

修改start_urls

检查修改allowed domains

编写解析方法

四.保存数据

在pipelines.py文件中定义对数据处理的管道在settings.py文件中注册启用管道