爬虫学习4:爬取王者荣耀技能信息

爬虫:爬取王者荣耀技能信息(代码和代码流程)

代码

python 复制代码
# 王者荣耀英雄信息获取
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
if __name__ == '__main__':
    fp = open("./honorKing.txt", "w", encoding='utf8')
    # 1、url
    url = "https://pvp.qq.com/web201605/herolist.shtml"#页面url
    # 2、发送请求
    driver = webdriver.Edge()#采用edge浏览器
    driver.get(url)#获取url
    time.sleep(3)#防止被检测到爬虫爬取
    # 3、获取想要的信息
    # 获取页面信息
    # driver.page_source
    # 4、数据解析
    li_list = driver.find_elements(By.XPATH, "//ul[@class='herolist clearfix']/li")#获取所有的li
    hero_url_list = []#存储所有的跳转url数据
    for li in li_list:
        hero_url = li.find_element(By.XPATH, "a").get_attribute("href")#跳转的url
        hero_url_list.append(hero_url)
    # 句柄的问题  先把所有第一个页面的东西存起来
    for url in hero_url_list:
        time.sleep(3)#防止被检测到爬虫爬取
        driver.get(url)
        hero_name = driver.find_element(By.XPATH, "//h2[@class='cover-name']").text
        div_list = driver.find_elements(By.XPATH, "//div[@class='skill-show']/div")# 拿到所有的技能信息
        fp.write(hero_name + "\n")#写入角色名称
        for div in div_list:
            js = f'document.getElementsByClassName("show-list")[{div_list.index(div)}].style.display="block"'#解除技能信息被锁
            driver.execute_script(js)
            skill_name = div.find_element(By.XPATH, "p[1]/b").text
            skill_desc = div.find_element(By.XPATH, "p[2]").text
            fp.write(skill_name + "---->" + skill_desc + "\n")
            print(skill_name, skill_desc)
        # 只爬两个看看样例
        # if hero_url_list.index(url) == 1:
        #     break
    driver.close()

代码流程:

复制代码
#### 获取页面的url

跳转到下一界面的url

找到希望得到的数据的位置

采用:f'document.getElementsByClassName("show-list")[{被锁位置}].style.display="block"',将不能同时出现的数据同时出现


相关推荐
刘火锅21 小时前
Java 17 环境下 EasyPoi 反射访问异常分析与解决方案(ExcelImportUtil.importExcelMore)
java·开发语言·python
Hi202402171 天前
Qt+Qml客户端和Python服务端的网络通信原型
开发语言·python·qt·ui·网络通信·qml
行思理1 天前
Docker 应该如何学习 分四个阶段
学习·docker·容器
大山同学1 天前
Blender学习-基础移动
数码相机·学习·blender
电子云与长程纠缠1 天前
Blender入门学习05 - 材质
学习·blender·材质
程序员大雄学编程1 天前
「用Python来学微积分」16. 导数问题举例
开发语言·python·数学·微积分
机器学习之心1 天前
PSO-Transformer-BiLSTM分类预测/故障诊断,优化参数为注意力机制头数、学习率、正则化系数、隐藏层单元,图很多,包括分类效果图,混淆矩阵图
学习·分类·transformer·pso-transformer
B站_计算机毕业设计之家1 天前
预测算法:股票数据分析预测系统 股票预测 股价预测 Arima预测算法(时间序列预测算法) Flask 框架 大数据(源码)✅
python·算法·机器学习·数据分析·flask·股票·预测
yj15581 天前
装修中怎样避坑
python
景彡先生1 天前
Python函数定义与调用全解析:从基础语法到实战技巧
linux·开发语言·python