Python爬虫使用实例-mdrama

一个Python爬虫使用实例：主要用于下载指定的剧集音频。分别从网页和json文件中获取剧集的title和剧集中所存在音频的id，调用you-get，最后自动重命名下载文件夹为剧集名title。

目标网址：

https://www.missevan.com/mdrama/×××××

其中×××××为drama的id，例如28021

从getdrama的json文件中获取drama列表中的id和name
用you-get获取音乐【 1.使用pyautogui调用you-get ，2. 使用 os.system() 直接调用 you-get 命令行工具】
drama文件夹自动重命名为剧集名
下载多个drama

一、获取资源

首先明确需求，需要获取音频的id和name分别作为data和title，查看源码，发现看不到：

可以从getdrama的json文件中获取id和name（不，用you-get的话只需要id）。

以28021为例，0-276，共277个music

小细节：听剧的时候一般是不会出现drama的，他一般是出现sound/player，点大标题可以跳转到drama，或者去源码查看（关于url）

二、发送请求

获取json文件

python 复制代码

json_url = f'https://www.missevan.com/dramaapi/getdrama?drama_id={drama_id}'

python 复制代码

# 将获取的 JSON 数据写入文件
with open('getdrama.json', 'w', encoding='utf-8') as f:
    f.write(response.text)

读取json文件

python 复制代码

# 读取 getdrama.json 文件
with open('getdrama.json', 'r', encoding='utf-8') as f:
    content = f.read()

因为用的是you-get，需要提前切换到西文状态下，而文件夹名可能含有中文字符，所以在download之后才重命名为title。

python 复制代码

# 下载音频文件
download_dir = 'D:/drama1/'
if not os.path.exists(download_dir):
    os.mkdir(download_dir)
    
(省略部分代码....)

download()
os.rename(download_dir, f'D:/{title}/')

三、数据解析

获取drama的id

python 复制代码

drama_id = re.search(r'/mdrama/(\d+)', url).group(1)  # 提取 drama_id

获取drama的名称：

python 复制代码

title = selector.css('.title-content::text').get().replace(' ','').replace('\n','')

获取drama中音频的id

python 复制代码

# 匹配包含 "id" 和 "sound_id" 的 JSON 对象
pattern = r'\{"id":.*?\}'  # 正则表达式匹配模式
matches = re.findall(pattern, content)

# 提取匹配的 JSON 对象中的所需字段
results = []

for match in matches:
    try:
        data_dict = json.loads(match)
        sound_id = data_dict.get("sound_id")
        if sound_id:
            results.append({"name": data_dict.get("name"), "sound_id": sound_id})
    except json.JSONDecodeError:
        continue  # 忽略 JSON 解码错误

# 将结果列表转换为 DataFrame
df = pd.DataFrame(results)

四、保存数据

bash 复制代码

you-get -o {download_dir} {url}

五、代码实现

1~/~ 单个剧集

单个drama可以自动改文件名，drama列表暂时不能

python 复制代码

# 单个剧集mdrama 下载后自动改文件名
import os
import re
import json
import time
import requests
import parsel
import pyautogui
import pyperclip
import pandas as pd

url ='https://www.missevan.com/mdrama/23468'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.139 Safari/537.36'}
drama_id = re.search(r'/mdrama/(\d+)', url).group(1)  # 提取 drama_id
json_url = f'https://www.missevan.com/dramaapi/getdrama?drama_id={drama_id}'
response = requests.get(json_url)
response1 = requests.get(url=url,headers=headers)
selector = parsel.Selector(response1.text)
title = selector.css('.title-content::text').get().replace(' ','').replace('\n','')
invalid_chars_pattern = r'[\/:*?"<>|]' # 定义需要替换的非法字符
title = re.sub(invalid_chars_pattern, '｜', title) # 将非法字符替换为空格
print(title)
# 将获取的 JSON 数据写入文件
with open('getdrama.json', 'w', encoding='utf-8') as f:
    f.write(response.text)

# 读取 getdrama.json 文件
with open('getdrama.json', 'r', encoding='utf-8') as f:
    content = f.read()

# 匹配包含 "id" 和 "sound_id" 的 JSON 对象
pattern = r'\{"id":.*?\}'  # 正则表达式匹配模式
matches = re.findall(pattern, content)

# 提取匹配的 JSON 对象中的所需字段
results = []
for match in matches:
    try:
        data_dict = json.loads(match)
        sound_id = data_dict.get("sound_id")
        if sound_id:
            results.append({"name": data_dict.get("name"), "sound_id": sound_id})
    except json.JSONDecodeError:
        continue  # 忽略 JSON 解码错误

# 将结果列表转换为 DataFrame
df = pd.DataFrame(results)

# 下载音频文件
download_dir = 'D:/drama1/'
if not os.path.exists(download_dir):
    os.mkdir(download_dir)

# 打开命令提示符
pyautogui.hotkey("win", "r")
pyautogui.typewrite('cmd')
time.sleep(3)
pyautogui.press('enter')
time.sleep(3)

def download():
    for sound_id in df['sound_id']:
        url = f"https://www.missevan.com/sound/player?id={sound_id}"
        pyautogui.typewrite(f'you-get -o {download_dir} {url}')
        # pyperclip.copy(url)
        # pyautogui.hotkey("ctrl", "v")
        pyautogui.press("enter")

download()
os.rename(download_dir, f'D:/{title}/')

2~/~ 剧集列表

url是列表:

python 复制代码

import os
import re
import json
import time
import requests
import parsel
import pyautogui
import pyperclip
import pandas as pd

# 设置多个剧集的 URL 列表
urls = [
    'https://www.missevan.com/mdrama/23468',
    'https://www.missevan.com/mdrama/1003',  # 添加更多剧集的 URL
    # 可以继续添加其他 URL
]
# 遍历每个 URL 进行处理
for url in urls:
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.139 Safari/537.36'}
    drama_id = re.search(r'/mdrama/(\d+)', url).group(1)  # 提取 drama_id
    json_url = f'https://www.missevan.com/dramaapi/getdrama?drama_id={drama_id}'
    response = requests.get(json_url)
    response1 = requests.get(url=url, headers=headers)
    selector = parsel.Selector(response1.text)
    title = selector.css('.title-content::text').get().replace(' ', '').replace('\n', '')
    invalid_chars_pattern = r'[\/:*?"<>|]'  # 定义需要替换的非法字符
    title = re.sub(invalid_chars_pattern, '｜', title)  # 将非法字符替换为空格
    print(title)
    # 将获取的 JSON 数据写入文件
    with open('getdrama.json', 'w', encoding='utf-8') as f:
        f.write(response.text)

    # 读取 getdrama.json 文件
    with open('getdrama.json', 'r', encoding='utf-8') as f:
        content = f.read()

    # 匹配包含 "id" 和 "sound_id" 的 JSON 对象
    pattern = r'\{"id":.*?\}'  # 正则表达式匹配模式
    matches = re.findall(pattern, content)

    # 提取匹配的 JSON 对象中的所需字段
    results = []
    for match in matches:
        try:
            data_dict = json.loads(match)
            sound_id = data_dict.get("sound_id")
            if sound_id:
                results.append({"name": data_dict.get("name"), "sound_id": sound_id})
        except json.JSONDecodeError:
            continue  # 忽略 JSON 解码错误

    # 将结果列表转换为 DataFrame
    df = pd.DataFrame(results)

    # 下载音频文件
    download_dir = f'D:/drama_{drama_id}/' # download_dir = 'D:/drama1/'
    if not os.path.exists(download_dir):
        os.mkdir(download_dir)

    # 打开命令提示符
    pyautogui.hotkey("win", "r")
    pyautogui.typewrite('cmd')
    time.sleep(3)
    pyautogui.press('enter')
    time.sleep(3)


    def download():
        for sound_id in df['sound_id']:
            url = f"https://www.missevan.com/sound/player?id={sound_id}"
            pyautogui.typewrite(f'you-get -o {download_dir} {url}')
            # pyperclip.copy(url)
            # pyautogui.hotkey("ctrl", "v")
            pyautogui.press("enter")

    download()

3~/~ 继续优化

优化代码：

删除 pyautogui 部分：使用 os.system() 直接调用 you-get 命令行工具，这消除了对图形界面的依赖并提高了代码的效率与稳定性。（原来使用的是pyautogui打开cmd命令提示符来使用you-get）
批量重命名：在所有下载完成后，再统一进行批量重命名，添加了 download_directories 列表，用于存储每个 download_dir 和对应的 title。

出现了一个可能导致文件夹重命名失败的问题。title 变量在for循环中要在循环体内获取，每次URL处理时应动态产生，而不是在群体内静态不变。调整代码：

4~/~ 最新代码

python 复制代码

# 配合urls.txt使用
import os
import re
import json
import time
import parsel
import requests

# 读取 URL 列表
url_file = 'urls.txt'  # 假设 URL 列表存储在这个文本文件中
with open(url_file, 'r', encoding='utf-8') as f:
    urls = [line.strip() for line in f if line.strip()]  # 逐行读取并去除空行

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.139 Safari/537.36'
}

# 整体结果列表
total_results = []
download_directories = []  # 用于存储下载目录和标题的对应关系

# 遍历每个 URL
for url in urls:
    drama_id = re.search(r'/mdrama/(\d+)', url).group(1)  # 提取 drama_id
    json_url = f'https://www.missevan.com/dramaapi/getdrama?drama_id={drama_id}'

    response = requests.get(json_url)

    # 从响应获取标题
    response_text = response.text
    #pattern_title = r'"title":"(.*?)"'  # 假设标题在 JSON 中
    #title_match = re.search(pattern_title, response_text)
    #title = title_match.group(1).replace(' ', '').replace('\n', '') if title_match else f'drama_{drama_id}'

    selector = parsel.Selector(requests.get(url, headers=headers).text)
    title = selector.css('.title-content::text').get().replace(' ', '').replace('\n', '')
    invalid_chars_pattern = r'[\/:*?"<>|]'  # 定义需要替换的非法字符
    title = re.sub(invalid_chars_pattern, '｜', title)  # 将非法字符替换为空格
    print(title)

    # 将获取的 JSON 数据写入文件
    json_filename = f'{drama_id}_getdrama.json'
    with open(json_filename, 'w', encoding='utf-8') as f:
        f.write(response_text)

    # 读取 JSON 文件
    with open(json_filename, 'r', encoding='utf-8') as f:
        content = f.read()

    # 匹配包含 "id" 和 "sound_id" 的 JSON 对象
    pattern = r'\{"id":.*?\}'  # 正则表达式匹配模式
    matches = re.findall(pattern, content)

    # 提取匹配的 JSON 对象中的所需字段
    results = []

    for match in matches:
        try:
            data_dict = json.loads(match)
            sound_id = data_dict.get("sound_id")
            if sound_id:
                results.append({"name": data_dict.get("name"), "sound_id": sound_id})
        except json.JSONDecodeError:
            continue  # 忽略 JSON 解码错误

    # 将结果添加到总结果列表
    total_results.extend(results)

    # 下载音频文件
    download_dir = f'D:/drama_{drama_id}/'
    download_directories.append((download_dir, title))  # 保存目录和标题

    if not os.path.exists(download_dir):
        os.makedirs(download_dir)

    # 下载音频文件（使用 you-get 命令行工具）
    for sound in results:
        sound_id = sound['sound_id']
        download_url = f"https://www.missevan.com/sound/player?id={sound_id}"
        os.system(f'you-get -o "{download_dir}" {download_url}')
        time.sleep(2)  # 添加延时，避免命令太快

# 所有下载完成后，批量重命名文件夹
for download_dir, title in download_directories:
    target_dir = f'D:/{title}/'
    if not os.path.exists(target_dir):  # 检查重命名目标文件夹是否存在
        os.rename(download_dir, target_dir)
        print(f"文件夹 '{download_dir}' 已重命名为 '{target_dir}'")
    else:
        print(f"目标文件夹 '{target_dir}' 已存在，跳过重命名。")

运行结果：