scrapy入门例子:获取百度热搜

想要创建一个Scrapy项目来爬取百度的搜索结果,虽然百度的搜索结果通常受到robots.txt的限制并且可能需要处理JavaScript渲染的内容,但我们可以创建一个基础的Scrapy项目来演示如何定义这样的结构和爬虫。请注意,实际爬取百度或其他大型网站时,应遵守其robots.txt规则和使用条款。

  1. 创建Scrapy项目

在命令行中创建一个新的Scrapy项目:

bash 复制代码
scrapy startproject baidu_scraper
  1. 定义Item

baidu_scraper/baidu_scraper/items.py文件中,定义一个BaiduResultItem类:

python 复制代码
import scrapy

class BaiduResultItem(scrapy.Item):
    seq = scrapy.Field()
    title = scrapy.Field()
  1. 编写Spider

baidu_scraper/baidu_scraper/spiders目录下创建一个名为baidu_spider.py的文件,并编写你的Spider:

python 复制代码
import scrapy
from baidu_scraper.items import BaiduResultItem

class BaiduSpider(scrapy.Spider):
    name = 'baidu'
    allowed_domains = ['baidu.com']
    start_urls = ['https://www.baidu.com']

    def parse(self, response):
        # 使用XPath选择热搜的li元素    
        hots = response.xpath('//*[@id="s_xmancard_news_new"]/div/div[1]/div/div/ul/li')    
        # 解析每个搜索结果的序号和标题
        for hot in hots:
            item = BaiduResultItem()
            item['seq'] = hot.xpath('./a/span[0]/text()').get()
            item['title'] = hot.xpath('./a/span[1]/text()').get()
            print(item)
            yield item
  1. 运行Spider

最后,你可以在命令行中运行你的Spider:

bash 复制代码
cd baidu_scraper
scrapy crawl baidu

以上步骤展示了如何用Scrapy创建一个基础的爬虫项目,但请记得在实际应用中要遵循合法合规的原则。

请注意,百度的结果页面通常会动态加载内容,且其结构可能会频繁改变。上面的代码可能无法正确工作,请根据实际情况进行微调。

如果包含动态页面,你可能需要使用如Selenium或Splash等工具,或者使用API(如果有的话)。同时,对于百度这样的大型网站,其robots.txt文件可能禁止爬虫访问某些页面,因此在进行任何爬取活动前,请确保阅读并遵守目标网站的使用条款和robots.txt文件。

相关推荐
凛铄linshuo18 分钟前
爬虫简单实操2——以贴吧为例爬取“某吧”前10页的网页代码
爬虫·python·学习
牛客企业服务20 分钟前
2025年AI面试推荐榜单,数字化招聘转型优选
人工智能·python·算法·面试·职场和发展·金融·求职招聘
胡斌附体33 分钟前
linux测试端口是否可被外部访问
linux·运维·服务器·python·测试·端口测试·临时服务器
likeGhee1 小时前
python缓存装饰器实现方案
开发语言·python·缓存
项目題供诗1 小时前
黑马python(二十五)
开发语言·python
读书点滴1 小时前
笨方法学python -练习14
java·前端·python
笑衬人心。2 小时前
Ubuntu 22.04 修改默认 Python 版本为 Python3 笔记
笔记·python·ubuntu
蛋仔聊测试2 小时前
Playwright 中 Page 对象的常用方法详解
python
前端付豪2 小时前
17、自动化才是正义:用 Python 接管你的日常琐事
后端·python
jioulongzi2 小时前
记录一次莫名奇妙的跨域502(badgateway)错误
开发语言·python