scrapy框架爬取数据(创建一个scrapy项目+xpath解析数据+通过pipelines管道实现数据保存+中间件)

目录

一、创建一个scrapy项目

二、xpath解析数据

三、通过pipelines管道实现数据保存

四、中间件


一、创建一个scrapy项目

1.创建一个文件夹:C06

在终端输入以下命令:

2.安装scrapy:pip install scrapy

3.来到文件夹下:cd C06

4.创建项目:scrapy startproject C06L02(项目名称)

5.切换到C06L02下:cd C06L02/C06L02

切换到spiders下:cd spiders

6.创建爬虫名称和输入爬取链接:scrapy genspider app https://product.cheshi.com/rank/2-0-0-0-1/

7.注意看爬虫文件(新生成的app.py)链接是否一致

8.运行爬虫文件:scrapy crawl app

9.若想要消除日志文件,在settings.py中添加命令:LOG_LEVEL="ERROR"

若想要绕过ROBOTS协议,在settings.py中添加命令:ROBOTSTXT_OBEY=False

10.简单的scrapy项目的app.py文件代码如下:

python 复制代码
import scrapy

class AppSpider(scrapy.Spider):
    name = "app"
    allowed_domains = ["product.cheshi.com"]
    started_urls = ["http://product.cheshi.com/rank/2-0-0-0-1/"]

    def parse(self, response):
        print(response.text)

11.user-agent配置:在settings.py文件中将user-agent注释内容展开,添加需要内容

二、xpath解析数据

在app.py文件中修改parse函数

python 复制代码
import scrapy

class AppSpider(scrapy.Spider):
    name = "app"
    allowed_domains = ["product.cheshi.com"]
    started_urls = ["http://product.cheshi.com/rank/2-0-0-0-1/"]

    def parse(self, response):
        cars = response.xpath('//ul[@class="condition_list_con"]/li')
        for car in cars:
            title = car.xpath('./div[@class="m_detail"]//a/text()').get()
            price = car.xpath('./div[@class="m_detail"]//b/text()').get()

三、通过pipelines管道实现数据保存

1.在items.py文件中定义数据模型

python 复制代码
import scrapy

class C06L04Item(scrapy.Item):
    title = scrapy.Field()
    price = scrapy.Field()

2.在app.py文件中添加如下代码

python 复制代码
import scrapy
from ..items import C06L04Item

class AppSpider(scrapy.Spider):
    name = "app"
    allowed_domains = ["product.cheshi.com"]
    started_urls = ["http://product.cheshi.com/rank/2-0-0-0-1/"]

    def parse(self, response):
        item = C06L04Item()
        cars = response.xpath('//ul[@class="condition_list_con"]/li')
        for car in cars:
            item["title"] = car.xpath('./div[@class="m_detail"]//a/text()').get()
            item["price"] = car.xpath('./div[@class="m_detail"]//b/text()').get()
            yield item

3.在settings.py文件中展开被注释掉的ITEM_PIPELINES,无需修改

4.修改pipelines.py文件代码

python 复制代码
from itemadapter import ItemAdapter

class C06L04Pipeline:
    def process_item(self, item, spider):
        # print(item["title"],item["price"])
        return item

若想要保存成文件添加以下代码

python 复制代码
from itemadapter import ItemAdapter

class C06L04Pipeline:
    def __init__(self):
        self.f = open("data.tet", "w")
    def process_item(self, item, spider):
        self.f.write(item["title"]+item["price"]+"\n")
        return item
    def __del__(self):
        self.f.close()

存储为mongodb形式为如下代码

python 复制代码
from itemadapter import ItemAdapter
import pymongo

class C06L04Pipeline:
    def __init__(self):
        self.client = pymongo.MongoClient("mongodb://localhost:27017")
        self.db = self.client["cheshi"]
        self.col = self.db["cars"]
    def process_item(self, item, spider):
        res = self.col.insert_one(dict(item))
        print(res.inserted_id)
        return item
    def __del__(self):
        print("end")

四、中间件

1.Middleware的应用:随机User-Agent、代理IP、使用Selenium、添加Cookie

2.动态User-Agent

打开settings.py文件中注释掉的DOWNLOADER_MIDDLEWARES

在middlewares.py文件中添加如下代码(只显示修改部分):

python 复制代码
import random

def process_request(self, request, spider):
    uas = [
        "User-Agent:Mxxxxxxxxxxxxxxxxxxxxxxxx",
        "User-Agent:Mxxxxxxxxxxxxxxxxxxxxxxxx",
        "User-Agent:Mxxxxxxxxxxxxxxxxxxxxxxxx",
        "User-Agent:Mxxxxxxxxxxxxxxxxxxxxxxxx",
    ]
    request.headers["User-Agent"] = random.choice(uas)

2.代理IP

具体操作略去,例如:快代理-隧道代理-python-scrapy的文档中心有具体的书写方式

相关推荐
站大爷IP2 分钟前
Python文件操作的"保险箱":with语句深度实战指南
python
运器1238 分钟前
【一起来学AI大模型】算法核心:数组/哈希表/树/排序/动态规划(LeetCode精练)
开发语言·人工智能·python·算法·ai·散列表·ai编程
whoarethenext24 分钟前
使用 C++ 实现 MFCC 特征提取与说话人识别系统
开发语言·c++·语音识别·mfcc
ITfeib34 分钟前
Flutter
开发语言·javascript·flutter
想躺平的咸鱼干1 小时前
Volatile解决指令重排和单例模式
java·开发语言·单例模式·线程·并发编程
Owen_Q1 小时前
Denso Create Programming Contest 2025(AtCoder Beginner Contest 413)
开发语言·算法·职场和发展
·云扬·2 小时前
【Java源码阅读系列37】深度解读Java BufferedReader 源码
java·开发语言
liulilittle2 小时前
C++ i386/AMD64平台汇编指令对齐长度获取实现
c语言·开发语言·汇编·c++
巴里巴气3 小时前
selenium基础知识 和 模拟登录selenium版本
爬虫·python·selenium·爬虫模拟登录
19893 小时前
【零基础学AI】第26讲:循环神经网络(RNN)与LSTM - 文本生成
人工智能·python·rnn·神经网络·机器学习·tensorflow·lstm