人像视频预处理【时间裁剪+画面裁切+调整帧率】

bash 复制代码
在视频处理中,cut(裁剪)、crop(画面裁切)和fps(帧率调整)这三个操作的顺序安排对最终的视频质量和效率有重要影响。以下是一种推荐的顺序和理由,旨在提高效率和减少错误:

1. **Cut(裁剪)**
- 首先进行时间裁剪(cut),去除不需要的视频片段,比如开头和结尾的无用部分或是中间的冗余场景。这样做的好处是在后续处理中减少了需要处理的视频数据量,节省了计算资源和时间。

2. **Crop(画面裁切)**
- 接下来进行画面裁切(crop)。裁切视频画面可以集中在视频中的关键区域,如之前提到的以主要人物为中心的画面裁切。在裁切之后,视频的分辨率会降低,这可能会影响后续的帧率调整过程中的编码速度和质量。但是,由于在裁切后视频的数据量已经减少,因此在帧率调整时处理速度会更快。

3. **Adjust FPS(调整帧率)**
- 最后调整帧率(fps)。调整帧率通常涉及丢弃或重复某些帧以达到目标帧率,这在裁切之后进行可以减少不必要的计算。如果在裁切前调整帧率,你可能会在裁切阶段失去一些不必要的帧,这可能会稍微影响视频的质量,尤其是当目标帧率低于原帧率时。此外,帧率调整通常涉及到重新编码,而较低分辨率的视频重新编码的速度通常比高分辨率的视频快。

综上所述,按照**裁剪** → **画面裁切** → **调整帧率**的顺序执行,可以最大化效率和资源利用,同时保持较好的视频质量。此外,这种顺序也有助于减少潜在的错误,因为每一步都在前一步的基础上进行,减少了数据的冗余处理。

然而,具体步骤还取决于你的视频编辑软件或库的功能和优化情况。在某些情况下,如果软件在特定顺序下提供了更高效的处理方式,那么遵循该软件的最佳实践也是明智的选择。例如,在使用某些视频处理库时,它们可能已经优化了某些操作的顺序,以提供更好的性能或避免常见的陷阱。

完整代码

python 复制代码
# python data_utils/pre_video/cut_crop_fps.py

import cv2
import math
import numpy as np
import face_recognition
from moviepy.editor import VideoFileClip, concatenate_videoclips
from tqdm import tqdm

def find_host_face_location(video_path):
    """ 在视频的前几秒内检测并返回主持人面部的大致位置 """
    cap = cv2.VideoCapture(video_path)
    found_face = False
    host_face_location = None
    
    while cap.isOpened():
        ret, frame = cap.read()
        if not ret:
            break
        
        # 缩小帧尺寸以加快处理速度
        small_frame = cv2.resize(frame, (0, 0), fx=0.25, fy=0.25)
        rgb_small_frame = small_frame[:, :, ::-1]
        
        # 检测人脸
        face_locations = face_recognition.face_locations(rgb_small_frame)
        
        if face_locations:
            # 取第一张脸的位置,假设主持人位于视频画面的中心位置附近
            host_face_location = face_locations[0]
            # 将位置放大回原始大小
            host_face_location = (host_face_location[0]*4, host_face_location[1]*4, host_face_location[2]*4, host_face_location[3]*4)
            found_face = True
            break
    
    cap.release()
    return host_face_location if found_face else None

def calculate_cropping_box(face_location, frame_shape):
    """ 根据主持人面部位置计算裁剪框 """
    top, right, bottom, left = face_location
    center_x, center_y = (left + right) // 2, (top + bottom) // 2
    half_width, half_height = 256, 256
    
    left_cropped = max(center_x - half_width, 0)
    top_cropped = max(center_y - half_height, 0)
    right_cropped = min(center_x + half_width, frame_shape[1])
    bottom_cropped = min(center_y + half_height, frame_shape[0])
    
    return (top_cropped, right_cropped, bottom_cropped, left_cropped)

def find_first_last_face(video_path):
    """ 找到视频中第一次和最后一次出现人脸的时间戳 """
    cap = cv2.VideoCapture(video_path)
    first_face_time = None
    last_face_time = 0
    
    while cap.isOpened():
        ret, frame = cap.read()
        if not ret:
            break
        
        timestamp = cap.get(cv2.CAP_PROP_POS_MSEC) / 1000  # Convert to seconds
        if not first_face_time:
            # 缩小帧尺寸以加快处理速度
            small_frame = cv2.resize(frame, (0, 0), fx=0.25, fy=0.25)
            rgb_small_frame = small_frame[:, :, ::-1]
            
            # 检测人脸
            face_locations = face_recognition.face_locations(rgb_small_frame)
            
            if face_locations:
                first_face_time = timestamp
        
        if face_locations:
            last_face_time = timestamp
    
    cap.release()
    return first_face_time, last_face_time

def process_video(input_path, output_path):
    """ 处理视频,裁剪并调整帧率 """
    # 检测主持人面部位置
    host_face_location = find_host_face_location(input_path)
    if host_face_location is None:
        print(f"No face detected in video {input_path}")
        return
    
    # 读取视频,获取视频的宽度和高度
    clip = VideoFileClip(input_path)
    frame_shape = clip.size[::-1]  # 电影剪辑的尺寸是(width, height),我们需要(height, width)
    
    # 计算裁剪框
    cropping_box = calculate_cropping_box(host_face_location, frame_shape)
    
    # 找到第一次和最后一次出现人脸的时间
    first_face_time, last_face_time = find_first_last_face(input_path)
    print(f"First face time: {first_face_time}, Last face time: {last_face_time}")
    
    # 裁剪视频以保留第一次和最后一次出现人脸的部分
    start_trim = math.ceil(first_face_time) # 向上取整
    end_trim = math.floor(last_face_time) # 向下取整
    print(f"Start trim: {start_trim}, End trim: {end_trim}")
    trimmed_clip = clip.subclip(start_trim, end_trim)
        
    # 裁剪视频
    cropped_clip = trimmed_clip.crop(x1=cropping_box[3], y1=cropping_box[0], x2=cropping_box[1], y2=cropping_box[2])
    cropped_clip = cropped_clip.resize((512, 512))
    
    # 调整帧率
    cropped_clip = cropped_clip.set_fps(25)
    
    # 保存最终视频
    cropped_clip.write_videofile(output_path, codec='libx264', audio_codec='aac')
    
    # 清理资源
    cropped_clip.close()

if __name__ == "__main__":
    for i in tqdm(range(1, 76), desc="Processing videos"):
        print("处理第", i, "个视频")
        input_path = f"data/dataset/{i}/{i}.mp4"
        output_path = f"data/dataset/{i}/{i}_fcc.mp4"
        process_video(input_path, output_path)
相关推荐
肥猪猪爸14 分钟前
使用卡尔曼滤波器估计pybullet中的机器人位置
数据结构·人工智能·python·算法·机器人·卡尔曼滤波·pybullet
大白要努力!15 分钟前
Android opencv使用Core.hconcat 进行图像拼接
android·opencv
LZXCyrus43 分钟前
【杂记】vLLM如何指定GPU单卡/多卡离线推理
人工智能·经验分享·python·深度学习·语言模型·llm·vllm
Enougme1 小时前
Appium常用的使用方法(一)
python·appium
懷淰メ1 小时前
PyQt飞机大战游戏(附下载地址)
开发语言·python·qt·游戏·pyqt·游戏开发·pyqt5
EasyCVR1 小时前
私有化部署视频平台EasyCVR宇视设备视频平台如何构建视频联网平台及升级视频转码业务?
大数据·网络·音视频·h.265
hummhumm1 小时前
第 22 章 - Go语言 测试与基准测试
java·大数据·开发语言·前端·python·golang·log4j
天空中的野鸟1 小时前
Android音频采集
android·音视频
hummhumm1 小时前
第 28 章 - Go语言 Web 开发入门
java·开发语言·前端·python·sql·golang·前端框架
只怕自己不够好1 小时前
《OpenCV 图像基础操作全解析:从读取到像素处理与 ROI 应用》
人工智能·opencv·计算机视觉