python-爬虫实例(5):将进酒,杯莫停!

目录

前言

将进酒,杯莫停!

一、浇给

二、前摇

1.导入selenium库

2.下载浏览器驱动

三、爬虫四步走

1.UA伪装

2.获取url

3.发送请求

4.获取响应数据进行解析并保存

总结


前言

博主身为一个农批,当然要尝试爬取王者荣耀的东西啦。

将进酒,杯莫停!

一、浇给

python 复制代码
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.edge.options import Options

if __name__ == '__main__':

    # 无头模式
    opt = Options()
    opt.add_argument("--headless")
    driver = webdriver.Edge(options=opt)

    # 创建一个可以通过 Selenium 控制的 Microsoft Edge 浏览器实例,并将其赋值给变量 driver
    # driver = webdriver.Edge()

    # 获取url并发送请求
    driver.get("https://pvp.qq.com/web201605/herolist.shtml")

    # time.sleep(3)

    WebDriverWait(driver, 10).until(  # 等待程序运行10s,定位到英雄列表的位置则继续运行,未定位到则报错
        EC.presence_of_element_located((By.XPATH, "//ul[@class='herolist clearfix']"))
    )

    # find_elements获取ul标签下的所有li标签  find_element获取该标签下第一个标签的内容
    li_list = driver.find_elements(By.XPATH, "//ul[@class='herolist clearfix']/li")

    for i in li_list:
        img_url = i.find_element(By.XPATH, "a/img").get_attribute("src")
        name = i.find_element(By.XPATH, "a/img").get_attribute("alt")
        print(img_url, name)

    driver.close()

输出 :太多了,就不复制进代码里展示了,获取了所有英雄的图片和名字。

二、前摇

1.导入selenium库

按win + r打开命令提示符,输入cmd,按回车进入,安装selenium库

安装不了的可以先给pip换个源,这篇文章开头即有:python-快速上手爬虫-CSDN博客

python 复制代码
pip install selenium

2.下载浏览器驱动

我用的edge的浏览器,所以在这介绍的就是下载edge浏览器的驱动。

打开浏览器设置,点击最下面的关于浏览器,记住浏览器的版本号。

搜索edge驱动。

点进去,往下翻找到驱动的版本,找到自己浏览器对应的版本下载,安装x64的。

下载完之后将文件解压并移至python解释器所在的文件夹,上面的就是浏览器的驱动,下面的是python解释器。如果python解释器下载时环境变量没有配置好的可以看:0基础学python-1:python解释器的安装及环境配置-CSDN博客

至此,技能前摇已完成。

三、爬虫四步走

1.UA伪装

这一次不用进行UA伪装,虚晃一枪,哈哈哈。实际原因是selenium请求是驱动浏览器自己进行操作,所以不需要UA伪装,但是有一些网站可能还是能检测到。

2.获取url

进入王者荣耀英雄列表的界面,按f12进入检查,刷新页面,然后获取url。

先展示一段selenium请求的效果,selenium会驱动浏览器自己去打开给定的url界面。这就意味着我们可以使用这种方式让浏览器自己进行更多的操作。

3.发送请求

流水的url,铁打的发送请求。不过这俩可以合并使用。

python 复制代码
    # 获取url并发送请求
    driver.get("https://pvp.qq.com/web201605/herolist.shtml")

4.获取响应数据进行解析并保存

  • 睡眠三秒是为了等界面渲染完再获取信息,不然界面未渲染完就获取信息,会导致找不到信息,然后报错。
  • WebDriverWait(driver, 10).until 的作用也是如此,前一个参数是等待的程序,后一个是等待的时间。
  • EC.presence_of_element_located里是期望定位到的内容。定位到了就继续运行,未定位或者超出等待时间会报错。
  • selenium里定位标签的方法是By,这里是通过XPATH进行定位,还有其他的参数可以进行定位,例如ID,ClASS_NAME之类的信息。
  • find_elements获取ul标签下的所有li标签 ,find_element获取ul标签下第一个li标签。
  • 然后就是熟悉的遍历li标签取值,在这里不需要用"./"来表示当前目录,而是直接写li标签下的标签。
  • 还有一点不同的是,取标签里的属性这里不使用@属性名,而是用.get_attribute(''属性名'')来进行取值。
  • 最后要关闭这个运行程序,使用.close()进行关闭
python 复制代码
    time.sleep(3)

    WebDriverWait(driver, 10).until(  # 等待程序运行10s,定位到英雄列表的位置则继续运行,未定位到则报错
        EC.presence_of_element_located((By.XPATH, "//ul[@class='herolist clearfix']"))
    )

    # find_elements获取ul标签下的所有li标签  find_element获取该标签下第一个标签的内容
    li_list = driver.find_elements(By.XPATH, "//ul[@class='herolist clearfix']/li")

    for i in li_list:
        img_url = i.find_element(By.XPATH, "a/img").get_attribute("src")
        name = i.find_element(By.XPATH, "a/img").get_attribute("alt")
        print(img_url, name)

    driver.close()

这样进行操作的时候,浏览器会打开王者荣耀英雄列表的界面,这样会占用一定资源。

那我们可以使用"无头模式"进行操作。更快更有效的利用资源

将这段代码

python 复制代码
    # 创建一个可以通过 Selenium 控制的 Microsoft Edge 浏览器实例,并将其赋值给变量 driver
    driver = webdriver.Edge()

替换成这样即可

python 复制代码
from selenium.webdriver.edge.options import Options

    # 无头模式
    opt = Options()
    opt.add_argument("--headless")
    driver = webdriver.Edge(options=opt)

总结

博主作为李白十年老玩家,就使用了李白的《行路难》里的一句诗当文章题目。

将进酒,杯莫停!

这句真的很帅啊!

希望大家使用我这个方法都能成功,如果有什么问题可以私信交流,或者直接在评论区询问即可。一起加油!

相关推荐
诚信爱国敬业友善1 分钟前
GUI编程(window系统→Linux系统)
linux·python·gui
天天向上杰4 分钟前
通义灵码AI程序员
人工智能·aigc·ai编程
阿噜噜小栈8 分钟前
Cursor 无限续杯
经验分享·笔记
sendnews15 分钟前
AI赋能教育,小猿搜题系列产品携手DeepSeek打造个性化学习新体验
人工智能
查理零世18 分钟前
【蓝桥杯集训·每日一题2025】 AcWing 6134. 哞叫时间II python
python·算法·蓝桥杯
紫雾凌寒27 分钟前
解锁机器学习核心算法|神经网络:AI 领域的 “超级引擎”
人工智能·python·神经网络·算法·机器学习·卷积神经网络
WBingJ37 分钟前
2月17日深度学习日记
人工智能
zhengyawen66638 分钟前
深度学习之图像分类(一)
人工智能·深度学习·分类
sun lover39 分钟前
conda简单命令
python·conda
莫莫莫i42 分钟前
拆解微软CEO纳德拉战略蓝图:AI、量子计算、游戏革命如何改写未来规则!
人工智能·微软·量子计算