AVCap视频处理成帧和音频脚本

复制代码
###############处理原视频,使其格式和原数据一样
import os
import cv2
import subprocess
import json
from PIL import Image
from pydub import AudioSegment

import sys
import shutil
# === 🔹 第一步:强制检测并设置FFmpeg路径 🔹 ===
def get_ffmpeg_path():
    """确保FFmpeg和FFprobe可用"""
    ffmpeg_path = shutil.which("ffmpeg")
    ffprobe_path = shutil.which("ffprobe")

    if not ffprobe_path or not ffmpeg_path:
        print("❌ 致命错误: FFmpeg未正确安装")
        print("请按照以下步骤操作:")
        print("1. 访问 https://github.com/BtbN/FFmpeg-Builds/releases")
        print("2. 下载 'ffmpeg-master-latest-win64-gpl.zip'")
        print("3. 解压到 C:\\ffmpeg")
        print("4. 将 C:\\ffmpeg\\bin 添加到系统PATH变量")
        print("5. 重启命令行终端")
        sys.exit(1)

    # 配置pydub使用正确的路径
    AudioSegment.converter = ffmpeg_path
    return ffmpeg_path, ffprobe_path


ffmpeg_path, ffprobe_path = get_ffmpeg_path()
print(f"✅ FFmpeg路径: {ffmpeg_path}")
print(f"✅ FFprobe路径: {ffprobe_path}")

# === 🔹【设置文件路径】🔹 ===
original_audio_path = "waveforms/7fmOlUlwoNg_20000_30000.wav"  # 原始数据集音频
original_image_path = "frames/frame_0/7fmOlUlwoNg_20000_30000.jpg"  # 原始数据集帧

input_video = "lai.mp4"   # 你要处理的视频
output_audio = "waveforms/lai_audio.wav"
frames_dir = "frames"

os.makedirs("waveforms", exist_ok=True)
os.makedirs("frames", exist_ok=True)

# === 🔹【获取原始数据集格式】🔹 ===
def get_audio_info(audio_path):
    """ 获取音频的格式信息 """
    cmd = [
        "ffprobe", "-i", audio_path, "-show_streams", "-select_streams", "a",
        "-of", "json"
    ]
    result = subprocess.run(cmd, capture_output=True, text=True)
    audio_info = json.loads(result.stdout)["streams"][0]
    
    return {
        "sample_rate": int(audio_info["sample_rate"]),  # 采样率
        "channels": int(audio_info["channels"]),  # 声道数
        "bit_rate": int(audio_info["bit_rate"]),  # 比特率
        "duration": float(audio_info["duration"])  # 时长
    }

def get_image_info(image_path):
    """ 获取图片的格式信息 """
    img = Image.open(image_path)
    return {
        "size": img.size,  # (width, height)
        "mode": img.mode  # "RGB" / "L" (灰度) / "CMYK" 等
    }

# 获取 **原始数据集** 的格式信息
original_audio_info = get_audio_info(original_audio_path)
original_image_info = get_image_info(original_image_path)

print("🎯 原始音频信息:", original_audio_info)
print("🎯 原始图像信息:", original_image_info)

# === 🔹【处理音频】🔹 ===
def process_audio(input_audio, output_audio, ref_info):
    """ 将音频转换为和原始数据集匹配的格式 """
    audio = AudioSegment.from_file(input_audio)
    
    # 转换采样率
    if audio.frame_rate != ref_info["sample_rate"]:
        audio = audio.set_frame_rate(ref_info["sample_rate"])

    # 转换声道
    if audio.channels != ref_info["channels"]:
        audio = audio.set_channels(ref_info["channels"])

    # 转换比特率(pydub 不支持直接修改比特率,但可以调整导出参数)
    audio.export(output_audio, format="wav", bitrate=str(ref_info["bit_rate"]) + "k")
    print(f"✅ 音频已转换并保存至 {output_audio}")

process_audio(input_video, output_audio, original_audio_info)

# === 🔹【处理视频帧】🔹 ===
def extract_frames(video_path, output_dir, ref_info, frame_count=20):
    """ 从视频中提取均匀分布的 20 帧,并匹配原始格式 """
    cap = cv2.VideoCapture(video_path)
    total_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
    frame_interval = max(total_frames // frame_count, 1)

    for i in range(frame_count):
        cap.set(cv2.CAP_PROP_POS_FRAMES, i * frame_interval)
        success, frame = cap.read()

        if success:
            # 统一尺寸
            frame = cv2.resize(frame, ref_info["size"])
            
            # 统一色彩模式
            if ref_info["mode"] == "L":  # 如果是灰度
                frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
            else:  # 默认 RGB
                frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
            
            # 逐帧存入 frame_0 到 frame_19
            frame_folder = os.path.join(output_dir, f"frame_{i}")
            os.makedirs(frame_folder, exist_ok=True)
            frame_path = os.path.join(frame_folder, "lai_frame.jpg")

            cv2.imwrite(frame_path, frame)
    
    cap.release()
    print(f"✅ 视频帧已提取并存入 {output_dir}")

extract_frames(input_video, frames_dir, original_image_info)

print("🎉 处理完成!所有格式已匹配 ✅")

直接执行脚本会报错,解决办法

安装 FFmpeg(如果未安装)

步骤一:手动下载 FFmpeg

  1. 访问 FFmpeg 官方构建版本页面:

    https://github.com/BtbN/FFmpeg-Builds/releases

  2. 下载最新版本:

    • 点击 ffmpeg-master-latest-win64-gpl.zip
    • 如果该版本不可用,选择类似名称的文件

步骤二:解压安装

  1. 创建目录:

    • 打开文件资源管理器
    • 导航到 C:\
    • 右键新建文件夹,命名为 ffmpeg
  2. 解压文件:

    • 将下载的 ZIP 文件解压到 C:\ffmpeg 目录中
    • 结构应为 C:\ffmpeg\bin\ffmpeg.exe

🔧 解决方案二:设置环境变量(最重要的一步)

添加 FFmpeg 到系统 PATH

  1. 打开系统属性:

    • Win + R 输入 sysdm.cpl 回车
    • 或在文件资源管理器右键点击"此电脑">属性>高级系统设置
  2. 打开环境变量:

    • 点击"环境变量"按钮
    • 在"系统变量"区域,找到并选择"Path"
    • 点击"编辑"
  3. 添加 FFmpeg 路径:

    • 点击"新建"
    • 输入 C:\ffmpeg\bin
    • 确保路径中"bin"是小写字母(Windows 路径不区分大小写)
  4. 保存更改:

    • 点击所有"确定"按钮保存设置
    • 关闭所有窗口

验证设置:

  1. 打开新的命令提示符:

    • Win + R 输入 cmd 回车
    • 重要:必须是新打开的命令窗口,环境变量变更后生效
  2. 运行测试命令:

    cmd

    复制代码
    ffmpeg -version
相关推荐
源码_V_saaskw7 小时前
JAVA图文短视频交友+自营商城系统源码支持小程序+Android+IOS+H5
java·微信小程序·小程序·uni-app·音视频·交友
肥or胖16 小时前
【音视频协议篇】WebRTC 快速入门
ffmpeg·音视频·webrtc
aqi0017 小时前
FFmpeg开发笔记(七十八)采用Kotlin+Compose的NextPlayer播放器
android·ffmpeg·音视频·直播·流媒体
tang_jian_dong21 小时前
springboot + vue3 拉取海康视频点位及播放
spring boot·后端·音视频
青牛科技-Allen1 天前
GC8871刷式直流电机驱动器深度解析:3.6A驱动与内置电流检测技术
单片机·嵌入式硬件·音视频·音响·电动工具·散热风扇·电脑散热风扇
Tracy9731 天前
HF83311_VB1/HF83311Q_VB1:高性能USB HiFi音频解码器固件技术解析
音视频·xmos 模组·xmos 模组固件
_可乐无糖1 天前
AWS WebRTC:我们的业务模式
云计算·音视频·webrtc·aws
Kandiy180253981871 天前
DP4871音频放大芯片3W功率单通道AB类立体声/音频放大器
音视频·音频·视频编解码
is08152 天前
使用 FFmpeg 实现 RTP 音频传输与播放
ffmpeg·音视频