爬虫部分知识点（1）

期末考复习中，蓝桥杯都没时间学了2024-05-16 9:58

前言：这只是我自己的随笔，专业性不高，不允许搬运。

一.爬虫概念

网络爬虫也叫网络蜘蛛，特指一类自动批量下载网络资源的程序，这是一个比较口语化的概念。

来个专业一点的，网络爬虫是伪装成客户端于服务端进行数据交互的程序。

二.作用

网络爬虫的作用有很多，比如数据采集，搜索引擎，模拟操作。

三.示例

接下来我来写一个原生爬虫，不高级，但是可以让大家理解爬虫的原理。

这个代码的内容是：爬取虎牙直播，并获取主播人气排行（一直在变动，所以每个人的结果可能都不一样）

话不多说，上操作：

我是把代码封装在类里面，通过调用的方式来得到结果。

代码如下：

python 复制代码

# 原生爬虫，爬取虎牙直播，并对主播人气排序
import re
import gzip
from io import BytesIO
from urllib.request import urlopen
class HuYaSpider:
    def __init__(self,url):
        self.url = url

# 1.获取爬取目标网站的网址url
    def scrawl(self):
        source = urlopen(self.url)
        sourceRead = source.read()
        buff = BytesIO(sourceRead)
        f = gzip.GzipFile(fileobj=buff)
        html = f.read().decode('utf8')
        return html


# 2.发送请求request，爬取网站内容
# 3.获取服务器返回资源response，分析并获取目标内容
    def analysis(self):
        html = self.scrawl()
        nickNames = re.findall('<i class="nick" title="(.*?)">',html)
        popNums = re.findall('<i class="js-num">(.*?)</i>',html)
        return nickNames,popNums
# 4.排序，获取主播人气排行
    def sortHuya(self):
        nickNames, popNums = self.analysis()
        popularNums = []
        for popNum in popNums:
            if "万" in popNum:
                popNum = popNum.replace("万","").replace(",","")
                popNum = float(popNum) * 10000
                popularNums.append(popNum)
            else:
                popNum = popNum.replace(",","")
                popularNums.append(popNum)
        huyapaixv = zip(nickNames,popularNums)
        huyaSort = sorted(huyapaixv,key = lambda x:x[1],reverse=True)
        return huyaSort
        # return popularNums

这是封装的部分，接下来是调用这个类里面的方法。

python 复制代码

from 爬虫 import HuYaSpider
huyaSpider = HuYaSpider("https://www.huya.com/l")
# 调用类里面的方法
huyaSpider.scrawl()
result = huyaSpider.sortHuya()
print(result)

ok，这就是我的完整代码。其中的一些操作我就不解释了，如果遇到问题，欢迎随时和我讨论。

好了，这篇我就只写这么多，并不是我不想多写，而是爬虫本身的成分复杂，我怕误写一些不该写的，爬虫这部分我也只会写几篇。

下一篇继续，蓝桥杯启动！