scrapy入门例子:获取百度热搜

想要创建一个Scrapy项目来爬取百度的搜索结果,虽然百度的搜索结果通常受到robots.txt的限制并且可能需要处理JavaScript渲染的内容,但我们可以创建一个基础的Scrapy项目来演示如何定义这样的结构和爬虫。请注意,实际爬取百度或其他大型网站时,应遵守其robots.txt规则和使用条款。

  1. 创建Scrapy项目

在命令行中创建一个新的Scrapy项目:

bash 复制代码
scrapy startproject baidu_scraper
  1. 定义Item

baidu_scraper/baidu_scraper/items.py文件中,定义一个BaiduResultItem类:

python 复制代码
import scrapy

class BaiduResultItem(scrapy.Item):
    seq = scrapy.Field()
    title = scrapy.Field()
  1. 编写Spider

baidu_scraper/baidu_scraper/spiders目录下创建一个名为baidu_spider.py的文件,并编写你的Spider:

python 复制代码
import scrapy
from baidu_scraper.items import BaiduResultItem

class BaiduSpider(scrapy.Spider):
    name = 'baidu'
    allowed_domains = ['baidu.com']
    start_urls = ['https://www.baidu.com']

    def parse(self, response):
        # 使用XPath选择热搜的li元素    
        hots = response.xpath('//*[@id="s_xmancard_news_new"]/div/div[1]/div/div/ul/li')    
        # 解析每个搜索结果的序号和标题
        for hot in hots:
            item = BaiduResultItem()
            item['seq'] = hot.xpath('./a/span[0]/text()').get()
            item['title'] = hot.xpath('./a/span[1]/text()').get()
            print(item)
            yield item
  1. 运行Spider

最后,你可以在命令行中运行你的Spider:

bash 复制代码
cd baidu_scraper
scrapy crawl baidu

以上步骤展示了如何用Scrapy创建一个基础的爬虫项目,但请记得在实际应用中要遵循合法合规的原则。

请注意,百度的结果页面通常会动态加载内容,且其结构可能会频繁改变。上面的代码可能无法正确工作,请根据实际情况进行微调。

如果包含动态页面,你可能需要使用如Selenium或Splash等工具,或者使用API(如果有的话)。同时,对于百度这样的大型网站,其robots.txt文件可能禁止爬虫访问某些页面,因此在进行任何爬取活动前,请确保阅读并遵守目标网站的使用条款和robots.txt文件。

相关推荐
云泽野2 小时前
【Java|集合类】list遍历的6种方式
java·python·list
IMPYLH3 小时前
Python 的内置函数 reversed
笔记·python
科技苑5 小时前
简单 Python 爬虫程序设计
爬虫
小赖同学啊5 小时前
物联网数据安全区块链服务
开发语言·python·区块链
码荼5 小时前
学习开发之hashmap
java·python·学习·哈希算法·个人开发·小白学开发·不花钱不花时间crud
特立独行的猫a6 小时前
百度AI文心大模型4.5系列开源模型评测,从安装部署到应用体验
人工智能·百度·开源·文心一言·文心一言4.5
小陈phd6 小时前
李宏毅机器学习笔记——梯度下降法
人工智能·python·机器学习
kk爱闹6 小时前
【挑战14天学完python和pytorch】- day01
android·pytorch·python
Blossom.1187 小时前
机器学习在智能建筑中的应用:能源管理与环境优化
人工智能·python·深度学习·神经网络·机器学习·机器人·sklearn
亚力山大抵7 小时前
实验六-使用PyMySQL数据存储的Flask登录系统-实验七-集成Flask-SocketIO的实时通信系统
后端·python·flask