(Python学习)爬取虎牙各个直播间的主播名字和人气

获得不同类型游戏直播间的主播名字和人气,只需要修改url的最后面地址,下面加粗黑色字体。

https://www.huya.com/g/**wzry**

python 复制代码
"""
爬取虎牙直播不同游戏类型的主播及人气(仅学习使用)
"""
import re
from urllib import request

class Spider:
    #对应虎牙游戏直播间ip地址
    url = 'https://www.huya.com/g/wzry'

    #正则表达式
    root_pattern = '<span class="avatar fl">([\s\S]*?)</span><span class="num">([\s\S]*?)</span>'
    name_pattern = '<i class="nick" title="([\s\S]*?)">([\s\S]*?)</i>'
    number_pattern = '<i class="js-num">([\s\S]*?)</i>'

    #爬取整个HTML
    def __fetch_content(self):
        r = request.urlopen(Spider.url)

        htmls = r.read()
        htmls = str(htmls, encoding='utf-8')

        return htmls

    #提取html中的信息
    def __analysis(self, htmls):
        htmls = re.findall(Spider.root_pattern, htmls)

        anchors = []
        for x in htmls:
            name = re.findall(Spider.name_pattern, str(x))
            number = re.findall(Spider.number_pattern, str(x))
            anchors.append({'name':name[0], 'number':number})
        return anchors

    #对提取的html信息进行过滤
    def __refine(self, htmls):
        l = lambda x : {'name':x['name'][0].strip(), 'number':x['number'][0].strip()}
        r = map(l, htmls)
        return list(r)

    #排序
    def __sort(self, htmls):
        htmls = sorted(htmls, key=self.__sort_seed, reverse=True)
        return htmls

    #排序的key设定
    def __sort_seed(self, htmls):
        r = re.findall('\d*',htmls['number'])
        number = float(r[0])*10000 + float(r[2])*1000
        return number

    #展示信息
    def __show(self, htmls):
        for rank in range(0, len(htmls)):
            print("rank:"+str(rank)+" name:"+htmls[rank]['name']+"------"+htmls[rank]['number'])

    #main函数
    def go(self):
        htmls = self.__fetch_content()
        htmls = self.__analysis(htmls)
        htmls = self.__refine(htmls)
        htmls = self.__sort(htmls)
        self.__show(htmls)

spider = Spider()
spider.go()
相关推荐
Dumbness7 分钟前
UIA 读微信群消息没有 id,怎么判断哪条是新的:后缀对齐在翻历史和撤回时整屏重报
python·算法
甜到心里的蛋糕12 分钟前
从 QQ 机器人到 B 站 AI 运营:一套可复现的视频流水线踩坑实录
运维·人工智能·python·自动化·视频制作
张驰咨询公司15 分钟前
六西格玛Python DOE试验矩阵:3因子2水平生成与验算
python·六西格玛·实验设计·itertools·doe试验矩阵
憧憬成为java架构高手的小白15 分钟前
langgraph4j学习
学习
CCIE-Yasuo25 分钟前
网络安全-学习web开发-列表、标签
前端·学习·web安全
熊猫钓鱼>_>25 分钟前
鸿蒙 PC 三方库适配复盘:libfvad 1.0 —— 把 WebRTC VAD 做成能装进采集链路的静态库
服务器·开发语言·华为·harmonyos·openharmony·适配·鸿蒙pc
Ai-_Man37 分钟前
Coze扣子还是不可以导出左侧所有对话,只能点进去单条内容导出,方法不对吗?
开发语言·人工智能·ai·小程序·1024程序员节
raindayinrain1 小时前
c++设计模式
开发语言·c++·设计模式
旖旎夜光1 小时前
LeetCode 315: 算右侧小于当前元素的个数(归并排序) —— 题解
c++·学习·算法·leetcode·排序算法
hiahiahia1231 小时前
Streaming Model Output
开发语言·前端