Python爬虫实战！爬取百度指数并可视化

大家好，我是小F～

这两年AI可以说是非常火，尤其是AIGC领域 。

而这其中很多都是基于Python实现的，比如ChatGPT、AI绘画、声音克隆等等。

对于普通人来说，想直接学习这些高难度的Python项目，还是比较困难的。

小F是非常建议大家学Python，可以从Python爬虫入门。

相对来说简单一点，可以通过学习爬虫案例来入门Python，为了以后学AI打下基础。

今天就给大家介绍一个百度指数数据爬取的实战案例。

其中为了保证数据采集的稳定与高效，小F使用了亮数据的IP代理。

在众多的IP代理提供商中，亮数据（Bright Data） 以其稳定、高效和专业的服务受到了广大用户的青睐，这也是小F选择它的原因。

不仅提供代理服务，还有一些数据集。

首次注册，提供5刀的免费额度，还是不错的。

大家要体验的，可以访问下方二维码，免费领取（联系客服开通免费试用），以备不时之需(比如运行爬虫代码IP被封)。

下面就来看一下爬虫实战案例吧~

发现百度指数的加密方式又变了，所以参考知乎一位大佬的代码。

完整代码如下。

import json
import requests
import urllib.request
from datetime import datetime
from datetime import timedelta


# 获取IP代理
def get_proxy():
    opener = urllib.request.build_opener(
        urllib.request.ProxyHandler(
            {'http': 'http://brd-customer-hl_5dede465-zone-try-country-cn:pdqt396jal8m@brd.superproxy.io:22225',
             'https': 'http://brd-customer-hl_5dede465-zone-try-country-cn:pdqt396jal8m@brd.superproxy.io:22225'}))

    response = opener.open('http://lumtest.com/myip.json').read()
    response_str = response.decode('utf-8')
    ip = json.loads(response_str)['ip']

    proxies = {
        "http": "http://{}".format(ip),
        "https": "http://{}".format(ip),
    }

    return proxies


# 解码函数
def decrypt(ptbk, index_data):
    n = len(ptbk)//2
    a = dict(zip(ptbk[:n], ptbk[n:]))
    return "".join([a[s] for s in index_data])


def reCode(data, ptbk):
    data = data['data']
    li = data['userIndexes'][0]['all']['data']
    startDate = data['userIndexes'][0]['all']['startDate']
    year_str = startDate[:4]  # 使用切片取前四个字符，即年份部分
    try:
        # 将年份字符串转换为整数
        year = int(year_str)
        # 根据年份判断是否为闰年
        if (year % 4 == 0 and year % 100 != 0) or (year % 400 == 0):
            year = 366
        else:
            year = 365
    except :
        year =365

    if li =='':
        result = {}
        name = data['userIndexes'][0]['word'][0]['name']
        tep_all = []
        while len(tep_all) < year:
            tep_all.insert(0, 0)
        result["name"] = name
        result["data"] = tep_all
    else:
        ptbk = ptbk
        result = {}
        for userIndexe in data['userIndexes']:
            name = userIndexe['word'][0]['name']
            index_all = userIndexe['all']['data']
            try:
                index_all_data = [int(e) for e in decrypt(ptbk, index_all).split(",")]
                tmp_all = index_all_data
            except:
                tmp_all = []
            while len(tmp_all) < year:
                tmp_all.insert(0, 0)
            result["name"] = name
            result["data"] = tmp_all
    return result


def get_index_data(word, year, proxies):
    words = [[{"name": word, "wordType": 1}]]
    words = str(words).replace(" ", "").replace("'", "\"")
    startDate = f"{year}-01-01"
    endDate = f"{year}-12-31"
    url = f'http://index.baidu.com/api/SearchApi/index?area=0&word={words}&startDate={startDate}&endDate={endDate}'

    # 请求头配置
    headers = {
        "Connection": "keep-alive",
        "Accept": "application/json, text/plain, */*",
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36",
        "Sec-Fetch-Site": "same-origin",
        "Sec-Fetch-Mode": "cors",
        "Sec-Fetch-Dest": "empty",
        "Cipher-Text": "1698156005330_1698238860769_ZPrC2QTaXriysBT+5sgXcnbTX3/lW65av4zgu9uR1usPy82bArEg4m9deebXm7/O5g6QWhRxEd9/r/hqHad2WnVFVVWybHPFg3YZUUCKMTIYFeSUIn23C6HdTT1SI8mxsG5mhO4X9nnD6NGI8hF8L5/G+a5cxq+b21PADOpt/XB5eu/pWxNdwfa12krVNuYI1E8uHQ7TFIYjCzLX9MoJzPU6prjkgJtbi3v0X7WGKDJw9hwnd5Op4muW0vWKMuo7pbxUNfEW8wPRmSQjIgW0z5p7GjNpsg98rc3FtHpuhG5JFU0kZ6tHgU8+j6ekZW7+JljdyHUMwEoBOh131bGl+oIHR8vw8Ijtg8UXr0xZqcZbMEagEBzWiiKkEAfibCui59hltAgW5LG8IOtBDqp8RJkbK+IL5GcFkNaXaZfNMpI=",
        "Referer": "https://index.baidu.com/v2/main/index.html",
        "Accept-Language": "zh-CN,zh;q=0.9",
        'Cookie': '你的cookie'}
    res = requests.get(url, headers=headers, proxies=proxies)
    res_json = res.json()

    if res_json["message"] == "bad request":
        print("抓取关键词："+word+" 失败，请检查cookie或者关键词是否存在")
    else:
        # 获取特征值
        data = res_json['data']
        uniqid = data["uniqid"]
        url = f'http://index.baidu.com/Interface/ptbk?uniqid={uniqid}'
        res = requests.get(url, headers=headers, proxies=proxies)
        # 获取解码字
        ptbk = res.json()['data']

        return res_json, ptbk


def get_date_list(year):
    """
    获取时间列表
    """
    begin_date = f"{year}-01-01"
    end_date = f"{year}-12-31"
    dates = []
    dt = datetime.strptime(begin_date, "%Y-%m-%d")
    date = begin_date[:]
    while date <= end_date:
        dates.append(date)
        dt += timedelta(days=1)
        date = dt.strftime("%Y-%m-%d")
    return dates


def get_word():
    proxies = get_proxy()
    startyear = 2023
    endyear = 2023
    words = ["Python", "C", "Java", "C#", "JavaScript", "SQL", "Go", "PHP", "MATLAB", "Swift", "Rust"]
    for word in words:
        for year in range(startyear, endyear + 1):
            try:
                data, ptbk  = get_index_data(word, year, proxies)
                res = reCode(data, ptbk)
                dates = get_date_list(year)
                for num, date in zip(res['data'], dates):
                    print(word, num, date)
                    with open('word2.csv', 'a+', encoding='utf-8') as f:
                        f.write(word + ',' + str(num) + ',' + date + '\n')
            except:
                pass


get_word()

只需替换请求头里的cookie值即可，获取方式如下图。

对于IP代理，可以根据你需要的类型，如无限机房代理、动态住宅代理、机房代理、移动代理，创建代理通道。

进入通道后，可以看到使用指南，以及其它语言的调用案例。

具体代码如下。

import json
import urllib.request

opener = urllib.request.build_opener(
    urllib.request.ProxyHandler(
        {'http': 'http://brd-customer-hl_5dede465-zone-try-country-cn:pdqt396jal8m@brd.superproxy.io:22225',
        'https': 'http://brd-customer-hl_5dede465-zone-try-country-cn:pdqt396jal8m@brd.superproxy.io:22225'}))

response = opener.open('http://lumtest.com/myip.json').read()
# 将响应转换为字符串
response_str = response.decode('utf-8')
# 使用json库解析字符串
data = json.loads(response_str)['ip']

# 打印IP地址，每一次打印结果是不一样的，输出例子：73.110.170.116
print(data)

这样就不用担心运行爬虫代码，网站把我自己的ip给封了。

如需体验使用，可以点击左下角【阅读原文 】，快速访问，联系客服开通免费试用。

运行代码，成功获取到3000+的数据。

接下来使用pynimate 进行可视化展示。

具体代码如下。

from matplotlib import pyplot as plt
import pandas as pd
import pynimate as nim

# 中文显示
plt.rcParams['font.sans-serif'] = ['SimHei']  #Windows
plt.rcParams['axes.unicode_minus'] = False


# 更新条形图
def post_update(ax, i, datafier, bar_attr):
    ax.spines["top"].set_visible(False)
    ax.spines["right"].set_visible(False)
    ax.spines["bottom"].set_visible(False)
    ax.spines["left"].set_visible(False)
    ax.set_facecolor("#001219")


# 读取数据
df_data = pd.read_csv('word2.csv', encoding='utf-8', header=None, names=['name', 'number', 'day']).set_index("day")
print(df_data)
# 数据处理，数据透视表
df = pd.pivot_table(df_data, values='number', index=['day'], columns=['name'], fill_value=0).head(30)
print(df)
# 保存
# df = pd.read_csv("word.csv").set_index("day")

# 新建画布
cnv = nim.Canvas(figsize=(12.8, 7.2), facecolor="#001219")
bar = nim.Barplot(
    df, "%Y-%m-%d", "2h", post_update=post_update, rounded_edges=True, grid=False, n_bars=10
)
# 标题设置
bar.set_title("主流编程语言热度排行(百度指数)", color="w", weight=600, x=0.15, size=30)
# 时间设置
bar.set_time(
    callback=lambda i, datafier: datafier.data.index[i].strftime("%Y-%m-%d"), color="w", y=0.2, size=20
)

# 文字颜色设置
bar.set_bar_annots(color="w", size=13)
bar.set_xticks(colors="w", length=0, labelsize=13)
bar.set_yticks(colors="w", labelsize=13)
# 条形图边框设置
bar.set_bar_border_props(
    edge_color="black", pad=0.1, mutation_aspect=1, radius=0.2, mutation_scale=0.6
)
cnv.add_plot(bar)
cnv.animate()
# 显示
# plt.show()
# 保存gif
cnv.save("code", 24, "gif")

结果如下所示。

万水千山总是情，点个 👍 行不行。

推荐阅读

··· END ···