Scrapy是一个目前还比较流行的开源爬虫框架。
专门用于提供爬虫学习的网站如:http://books.toscrape.com、https://www.zhihu.com/hot、https://movie.douban.com/top250等。
在使用parse来对网页内容进行爬时,使用的是CSS选择器或XPath来提取页面中的数据内容。以以下图片中的内容为例。XPath的使用用法:提取信息的命名=爬虫名称.XPath("输入复制的XPath").提取第几个内容
CSS选择器的使用方法:提取信息的命名=爬虫名称.css("ul.pager li.next a::attr(herf)").提取第几个内容
对获取的下一个网页的URL,使用yield和request的组合方式将请求都由yield语句交给Scrapy引擎,例子:yield scrapy.Request(next_url,cllback=self.parse)
知识扩展:yield与return的区别:都是返回一个值,return返回一个值后,yield返回的是一个对象。代码段执行结束;yield在返回值以后会交出CPU的使用权,代码段并没有直接结束,而是在此处中断,当调用send()或next()方法后,yield可以从之前中断的地方继续执行后续新增的代码段。
爬虫注意事项:①爬虫的时候在爬取网页的URL的时候记得对URL进行去重,这很关键;在进行网页搜索中的搜索策略可以选择深度搜索或者广度搜索两种策略;以及还要考虑爬虫的边界限定的问题。
②Scrapy的安装很简单:直接就是pip install scrapy,然后查看下载的版本:scrapy.version_info
③爬虫的起始点可以设定多个,但是需要预先对每个不同的爬虫进行不同的命名,是的爬虫的效率增加
④爬虫的流程:创建并命名爬虫名称-》对爬取的网页的URL进行设定-》parse方法的使用来提取页面总的内容
爬虫学习——Scrapy
爱吃泡芙的小白白2025-04-21 17:10
相关推荐
一个天蝎座 白勺 程序猿4 小时前
Python爬虫(47)Python异步爬虫与K8S弹性伸缩:构建百万级并发数据采集引擎XiaoMu_0015 小时前
基于Django+Vue3+YOLO的智能气象检测系统honder试试6 小时前
焊接自动化测试平台图像处理分析-模型训练推理心本无晴.6 小时前
Python进程,线程java1234_小锋9 小时前
Scikit-learn Python机器学习 - 特征降维 压缩数据 - 特征提取 - 主成分分析 (PCA)java1234_小锋9 小时前
Scikit-learn Python机器学习 - 特征降维 压缩数据 - 特征提取 - 线性判别分析 (LDA)思辨共悟9 小时前
Python的价值:突出在数据分析与挖掘计算机毕业设计木哥10 小时前
计算机毕设选题:基于Python+Django的B站数据分析系统的设计与实现【源码+文档+调试】中等生10 小时前
Pandas 与 NumPy:数据分析中的黄金搭档用户83562907805111 小时前
Python查找替换PDF文字:告别手动,拥抱自动化