机器学习-模型验证

验证泛化误差

  • 在一个数据集上估计误差,数据集只能使用一次
  • 验证数据集 :可以被使用多次
    基本是训练数据集中的一部分
    当使用"test"时,大多数时候指的是验证数据集

生成验证数据集方法

1、数据随机分入训练集或验证集

总是随机选n%的数据作为验证集

n=50,40,30,20,10
当分离非独立同分布的数据时要额外注意

  • 时序性数据:房价、股票价格等
    验证集应该在训练集之后
  • 属于同一组的样例:相同人的照片
    在组之间分
  • 不平衡的数据
    对小的类采样率要高
    2、K折交叉验证
  • 适用于数据不充足的数据
  • 算法:
    将数据集分成K份
    对i=1,2,...,K
    使用第i份数据作为验证集,其他作为训练集
  • 一般K=5或10

常见错误

  • 90%以上极好的结果是由于bug存在
  • 验证集中有训练集的样本
    原始数据中有重复的数据
    在数据融合时常发生:将从搜索引擎中找到的图片用于验证模型
  • 信息泄露
    经常发生于非独立同分布的数据:用未来预测过去
相关推荐
chenchihwen4 小时前
AI代码开发宝库系列:Function Call
人工智能·python·1024程序员节·dashscope
FreeBuf_4 小时前
微软Copilot被用于窃取OAuth令牌,AI Agent成为攻击者帮凶
人工智能·microsoft·copilot
学slam的小范4 小时前
ROS跑ORB-SLAM3遇见的问题总结
人工智能·机器人·自动驾驶
coding消烦员5 小时前
新版 vscode 去除快捷键 Ctrl+I 显示 Copilot 的 AI 对话框
人工智能·vscode·copilot
周杰伦_Jay5 小时前
【自动驾驶开源仿真平台】Carla、AirSim、Udacity self-driving-car-sim、Apollo、Autoware。
人工智能·机器学习·自动驾驶
牛奶还是纯的好5 小时前
双目测距实战5-立体矫正
人工智能·3d
无风听海6 小时前
神经网络之窗口大小对词语义向量的影响
人工智能·深度学习·神经网络
sali-tec6 小时前
C# 基于halcon的视觉工作流-章52-生成标定板
开发语言·图像处理·人工智能·算法·计算机视觉
IT古董6 小时前
【第五章:计算机视觉-项目实战之推荐/广告系统】2.粗排算法-(4)粗排算法模型多目标算法(Multi Task Learning)及目标融合
人工智能·算法·1024程序员节
newxtc6 小时前
【江苏政务服务网-注册_登录安全分析报告】
人工智能·安全·yolo·政务·1024程序员节·安全爆破