视频判重需求:别为同一内容花两次钱!

背景

运营团队提出需求,对视频进行判重,有三个诉求

  • 避免重复采买费用重复支出
  • 赋能运营人员人工短剧判重,提效、增加准确率
  • 对于免费合作的短剧入库,避免重复入库影响用户体验

需求确认

通过沟通,技术团队明确了三个需求场景

  • 场景1:视频文件内容、大小等完全一致,表现为文件签名md5一致
  • 场景2:视频文件内容一致,存在字幕、调色、后期等方面影响,文件大小一般不一致
  • 场景3:同一个剧本,演员不一样,讲述的内容大致相同

通过目标对齐,我们致力于解决上述场景1、场景2的情况,场景3不考虑

实现方案确认

通过调研,结合我们自身情况,发现有如下方案

  • 阿里云视频DNA服务,通过识别视频DNA来判重
  • 华为云视频指纹服务,通过视频指纹判重
  • 自研视频特征向量提取与相似度判定,相似度超过预设阈值,表明内容相同

情况实测

  • 阿里云视频DNA服务,场景1识别ok,场景2识别率不高
  • 华为云视频指纹服务,相关页面存在,找不到功能,通过与其工作人员沟通,反馈服务已下线
  • 自研视频特征向量提取与相似度判定,场景1识别ok,场景2识别ok

自研实现思路

  • 使用ResNet50 模型作为核心的特征提取器
  • 利用颜色直方图比较相邻帧的差异,使用 Bhattacharyya 距离衡量帧间变化,当差异超过阈值时认为是关键帧
  • 对每帧图像进行预处理(缩放、裁剪、归一化)和向量化,使用最大池化操作聚合所有帧特征
  • 将视频特征向量存入向量数据库,可与其他视频的特征向量做点积实现相似度比较

代码示例(Python版本)

python 复制代码
# 设备配置
device = None
# 加载预训练模型
model = None
# 图像预处理
preprocess = None

def init_model():
    global device, model, preprocess
    if model is not None:
        return
    
    start_time = time.time()
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    # 使用更强大的ResNet50模型
    model = models.resnet50(weights=models.ResNet50_Weights.IMAGENET1K_V2)
    model = torch.nn.Sequential(*(list(model.children())[:-1]))
    model = model.to(device)
    model.eval()

    preprocess = transforms.Compose([
        transforms.ToPILImage(),
        transforms.Resize(256),
        transforms.CenterCrop(224),
        transforms.ToTensor(),
        transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
    ])
    end_time = time.time()
    logger.info(f"init_model cost time: {end_time - start_time}s")

def scene_detect(video_path, threshold=0.3):  # 修正阈值范围为0-1
    cap = cv2.VideoCapture(video_path)
    last_hist = None
    frames = []
    
    while True:
        ret, frame = cap.read()
        if not ret:
            break
        
        frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
        hist = cv2.calcHist([frame], [0,1,2], None, [8,8,8], [0,256,0,256,0,256])
        hist = cv2.normalize(hist, hist).flatten()
        
        if last_hist is not None:
            # 使用Bhattacharyya距离,有效范围0-1
            diff = cv2.compareHist(last_hist, hist, cv2.HISTCMP_BHATTACHARYYA)
            if diff > threshold:
                frames.append(frame)
        else:
            frames.append(frame)
        
        last_hist = hist
    
    cap.release()
    return frames

def video_to_feature(video_path):
    init_model()
    frames = scene_detect(video_path)
    
    if len(frames) < 5:  # 最少采样5帧
        cap = cv2.VideoCapture(video_path)
        total_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
        # 均匀采样补充帧
        sample_indices = np.linspace(0, total_frames-1, 5, dtype=int)
        for idx in sample_indices:
            cap.set(cv2.CAP_PROP_POS_FRAMES, idx)
            ret, frame = cap.read()
            if ret:
                frames.append(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))
        cap.release()

    frame_features = extract_features(frames)
    # 使用最大池化替代平均池化
    return np.max(frame_features, axis=0)    

实现方案分析

总结:当前自研方案能有效解决我们短剧判重的需求。

优点:

  • 基于 ImageNet 预训练的 ResNet50 模型,具备强大的特征提取能力
  • 结合场景检测和均匀采样,既保证了关键内容的捕捉,又确保了采样的充分性
  • 对帧级特征和最终向量都进行了归一化,有利于相似度计算的稳定性

缺点:

  • 场景检测阈值固定,可能不适用于所有类型的视频内容
  • 对镜头快速切换或渐变场景的处理能力有限
  • 仅使用余弦相似度,对复杂语义关系的表达能力有限

适用场景:

  1. 视频去重任务:能够有效识别完全相同或高度相似的视频
  2. 内容推荐系统:可作为视频内容相似度计算的基础
  3. 版权检测:识别相同内容但可能有轻微处理差异的视频
  4. 视频聚类分析:将相似内容的视频归为一类

不太适用的场景:

  1. 语义理解要求高的场景:如需要理解视频具体情节或主题
  2. 细粒度内容区分:难以区分内容相似但有细微差别的视频
  3. 跨模态内容匹配:无法处理音频或文本为主的内容匹配
相关推荐
二川bro4 小时前
第24节:3D音频与空间音效实现
3d·音视频
算家云4 小时前
腾讯最新开源HunyuanVideo-Foley本地部署教程:端到端TV2A框架,REPA策略+MMDiT架构,重新定义视频音效新SOTA!
人工智能·音视频·算家云·hunyuanvideo·模型部署教程·镜像社区
我是海飞9 小时前
Tensorflow Lite 的yes/no语音识别音频预处理模型训练教程
python·学习·tensorflow·音视频·嵌入式·语音识别
音视频牛哥9 小时前
具身智能的工程落地:视频-控制闭环的实践路径
人工智能·音视频·人工智能+·具身智能rtsp方案·具身智能rtmp方案·智能机器人rtsp方案·智能机器人rtmp低延迟
lichong95110 小时前
【混合开发】Android+Webview+VUE播放视频之视频解析工具mediainfo-Macos
android·macos·架构·vue·音视频·api·postman
百度智能云技术站21 小时前
百度智能云「智能集锦」自动生成短剧解说,三步实现专业级素材生产
人工智能·音视频
HelloRevit1 天前
让B站视频4倍速度播放
前端·javascript·音视频
Ai工具分享1 天前
视频增强AI哪个效果好?实战对比帮你找到最适合的工具
人工智能·音视频
wan5555cn1 天前
【警惕】疑似一种新型金融黑灰产骗局大规模爆发
笔记·深度学习·音视频·生活