如果验证集缺失或测试集缺失应该怎么办?

测试集缺失

比如Kinetics-400,

Kinetics-400 数据划分说明(官方)

  • Train set:约 240K 视频。
  • Validation set:约 20K 视频,带有标签。
  • Test set:约 40K 视频,没有公开标签,只能提交给官方服务器评测(例如通过 DeepMind 或 CVPR/ECCV 挑战)。

推荐方案:

  • 训练用: train
  • 测试用: val(相当于 test)

发布论文时写法建议:

We train our model on the official training split of Kinetics-400 and evaluate on the validation split, following standard practice [1,2].

附参考资料:
[1] Kinetics Dataset 官网 (DeepMind)
[2]Kinetics GitHub

验证集缺失

第一个例子

比如UCF101,是一个动作识别数据集,共包含:

  • 101 类动作
  • 13,320 个视频
  • 官方提供了 3 个标准划分(split 1、split 2、split 3),每个划分都给出训练集和测试集的具体列表(train/test txt 文件)

官方提供内容包括:

  • trainlist01.txt:split 1 的训练样本列表(包含类别标签)
  • testlist01.txt:split 1 的测试样本列表(无标签,需配合类别名或额外标签文件使用)
  • 类别标签文件 classInd.txt:类别名与索引的对应关系

常见做法(尤其在 MMAction2 中)

  1. 方式一:只用官方 train/test
    这是最主流的方式,适合用于报告最终结果、和其他工作对比:
    使用 split 1 / split 2 / split 3,逐个训练测试
    然后对三次测试结果求平均,作为最终准确率
  2. 方式二:从 train 中划一部分作为验证集(仅训练阶段)
    为了在训练中进行超参数调优或 early stopping,一些研究者会:
    从 trainlist01.txt 中划出 10%~20% 作为 "val"
    不在最终评估中用这个 val

第二个例子

HMDB51 提供了 3 个标准划分(split 1、2、3),每个划分都明确指定了:

  • 训练集(train)
  • 测试集(test)

与 UCF101 类似,没有单独的验证集(val)。

对于每一个类别(例如 brush_hair),都会有一个 .txt 文件,例如:

brush_hair_test_split1.txt

这个文件中内容类似于:

April_09_brush_hair_u_nm_np1_ba_bad_0.avi 1

April_09_brush_hair_u_nm_np1_fr_med_1.avi 2

...

  • 1 表示训练样本
  • 2 表示测试样本
  • 0 表示不使用(不常见)
    所以这类文件是"合并标注",要自己划分成 train.txt 和 test.txt
    在brush_hair_test_split1.txt中出现为2的在其它两个划分中为1

交错分组 + 留一策略

"交错分组 + 留一策略" 是 HMDB51 数据集在构建 3 个标准划分(split 1/2/3)时采用的一种数据划分思想,其核心是:

  • 把全部数据打散、按人或者视频进行分组,在不同的 split 中交替作为训练集或测试集,以最大化训练/测试数据的多样性,同时避免信息泄露。

1️⃣ 交错分组(interleaved grouping)

  • HMDB51 中的视频是从多个来源提取的,每个动作类的视频数量不大(几十个)。
  • 为了确保三次划分都能覆盖尽可能多的视频,他们做了"交错"分组。

2️⃣ 留一策略(leave-one-group-out)

  • 这在动作识别中指的是:为了避免训练集中出现与测试集中太相似的-数据(如来自同一人、场景或视频源),故意把某一类或某些样本排除在一个 split 的训练或测试之外。
  • 这是一种防止"数据泄露"的策略,避免模型因为见过相似背景或人物而获得不公平优势。
    推荐:方式 1(从训练集中划出部分作为验证集)
    不推荐:方式 2(用 0 样本做验证集)

怎么知道一篇论文是否用了"train 和 test",有没有划分验证集?

  • 如果写的是:
    "We follow the standard three splits of UCF101."
    那就是完全使用官方的划分,没有验证集。
  • 如果写的是:
    "We randomly select 10% of the training data as validation."
    那说明他们自己划了 val,只用于训练调参。
相关推荐
悠悠小茉莉1 小时前
Win11 安装 Visual Studio(保姆教程 - 更新至2025.07)
c++·ide·vscode·python·visualstudio·visual studio
yanjiee3 小时前
需要scl来指定编译器的clangd+cmake在vscode/cursor开发环境下的配置
ide·vscode·编辑器
Waltt_Qiope6 小时前
关于使用cursor tunnel链接vscode(避免1006 issue的做法)
ide·vscode·issue
Charlene Fung7 小时前
vs code远程自动登录服务器,无需手动输入密码的终极方案(windows版)
运维·服务器·vscode·ssh
奇文怪式8 小时前
VSCode+arm-none-eabi-gcc交叉编译+CMake构建+OpenOCD(基于Raspberry Pico RP2040)
arm开发·ide·vscode·rp2040
hero_heart17 小时前
vscode中c_cpp_properities.cpp文件生成和作用
ide·vscode·编辑器
DO ITNOW1 天前
Cursor/VScode ,点击运行按钮,就打开新的终端,如何设置为在当前终端运行文件而不是重新打开终端----一招搞定篇
ide·vscode·编辑器
小妖6661 天前
若 VSCode 添加到文件夹内右键菜单中显示
ide·vscode·编辑器
就爱瞎逛1 天前
TailWind CSS Intellisense 插件在VSCode 上不生效
前端·css·vscode·tailwind
青芒亭1 天前
vscode remote-ssh 拓展免密访问 linux虚拟机
linux·vscode·ssh