Python 爬虫—scrapy

scrapy用于从网站中提取所需数据的开源协作框架。以一种快速、简单但可扩展的方式。

该爬虫框架适合于那种静态页面, js 加载的话,如果你无法模拟它的 API 请求,可能就需要使用 selenium 这种使用无头浏览器的方式来完成你的需求了

入门

python 复制代码
import scrapy

class BlogSpider(scrapy.Spider):
    name = 'blogspider'
    start_urls = ['https://www.zyte.com/blog/']

    def parse(self, response):
        for title in response.css('.oxy-post-title'):
            # 返回对象
            yield {'title': title.css('::text').get()}

        for next_page in response.css('a.next'):
            # 返回一个连接,爬虫框架会继续请求这个连接,得到响应后再回调 parse 方法
            yield response.follow(next_page, self.parse)

运行

bash 复制代码
scrapy runspider myspider.py

代码中通过 main 方式运行调试

python 复制代码
# _*_ coding: utf-8 _*_
import os, sys, pprint
from scrapy.cmdline import execute


def build_base_config():
    current_dir_path = os.path.dirname(os.path.abspath(__file__))
    # sys.path.append(current_dir_name)  # 入口文件 与模块查找路径、import 相对路径导入有影响
    print('\n当前路径 PATH:', current_dir_path)
    # pprint.pprint(sys.path)
    filepath, file_name = os.path.split(current_dir_path)
    spiders_name = file_name
    spiders_name = "bestbuy_new_ca"
    return current_dir_path, spiders_name

def run_product_review():
    """
    运行产品评论
    """
    current_dir_path, spiders_name = build_base_config()
    # 结果输出到本地 json 文件
    execute(['scrapy', 'crawl', spiders_name + '-products_review',
             f'-o{current_dir_path}/temp/product-review.json',
             '-LDEBUG',
             f'-apath={current_dir_path}/temp/review-links.json',
             '-acollect_exist=1'
             ])


if __name__ == '__main__':
    run_product_review()
    pass

简单说:使用了 scrapy.cmdline 提供的工具,执行的命令和在命令行中的一致,只是这种方式可以在 idea 工具中进行 debug 调试

入门和实际开发的不同之处:

  1. 开发上:
    a.入门:例子相对简单,工程结构也不怎么注重
    b.生产:相对复杂,在核心开发上差不多,也是如何去解析 html 结构,工程结构上为了调度和复用,可能会更复杂一点
  2. 调度平台:
    a.有使用一些开源的调度平台,因为是通用
    b.还有的可能会再开源的调度平台上,再包装一层自己的调度平台,仅用来展示(符合产品经理的设计)

官方对于动态内容的引导

https://docs.scrapy.org/en/latest/topics/dynamic-content.html

个人感觉这里提供的知识点还是非常具有参考价值的,简单总结:

  • 使用 scrapy shell 工具定位数据源

    $ scrapy shell "quotes.toscrape.com/scroll"
    (...)

    view(response)

  • 使用 scrapy fetch 工具获取响应到文件,这类似与查看网页源代码

    scrapy fetch --nolog https://example.com > response.html

  • 复制请求:在浏览器中可以将请求复制为 curl 格式,然后可以使用 form_curl() 来使用

    from scrapy import Request

    request = Request.from_curl(
    "curl 'https://quotes.toscrape.com/api/quotes?page=1' -H 'User-Agent: Mozil"
    "la/5.0 (X11; Linux x86_64; rv:67.0) Gecko/20100101 Firefox/67.0' -H 'Acce"
    "pt: /' -H 'Accept-Language: ca,en-US;q=0.7,en;q=0.3' --compressed -H 'X"
    "-Requested-With: XMLHttpRequest' -H 'Proxy-Authorization: Basic QFRLLTAzM"
    "zEwZTAxLTk5MWUtNDFiNC1iZWRmLTJjNGI4M2ZiNDBmNDpAVEstMDMzMTBlMDEtOTkxZS00MW"
    "I0LWJlZGYtMmM0YjgzZmI0MGY0' -H 'Connection: keep-alive' -H 'Referer: http"
    "://quotes.toscrape.com/scroll' -H 'Cache-Control: max-age=0'")

  • 解析 JavaScript 代码:html 中有些网站会出现 <script>中间是大段的 json 数据有可能是变量,也有可能是初始化数据之类的</script>,就可以使用

    比如是
    var data = {"field": "value"};

    可以使用如下的方式匹配
    pattern = r'\bvar\s+data\s*=\s*({.?})\s;\s*\n'
    json_data = response.css('script::text').re_first(pattern)
    json.loads(json_data)
    {'field': 'value'}

相关推荐
Kratzdisteln16 小时前
【Python】绘制椭圆眼睛跟随鼠标交互算法配图详解
python·数学·numpy·pillow·matplotlib·仿射变换
maxruan16 小时前
PyTorch学习
人工智能·pytorch·python·学习
唐古乌梁海17 小时前
【python】在Django中,执行原生SQL查询
python·sql·django
程序员大雄学编程17 小时前
「用Python来学微积分」5. 曲线的极坐标方程
开发语言·python·微积分
深蓝电商API18 小时前
爬虫调试技巧:如何用浏览器开发者工具找接口?
爬虫
一位代码18 小时前
python | requests爬虫如何正确获取网页编码?
开发语言·爬虫·python
可触的未来,发芽的智生18 小时前
新奇特:神经网络速比器,小镇债务清零的算法奇缘
javascript·人工智能·python
mortimer19 小时前
还在被 Windows 路径的大小写和正反斜杠坑?是时候让 pathlib 拯救你的代码了!
人工智能·python
std8602119 小时前
Rust 与 Python – 这是未来的语言吗?
开发语言·python·rust
鄃鳕19 小时前
Flask【python】
后端·python·flask