模型选择+过拟合欠拟合

训练误差和泛化误差

训练误差:模型在训练数据上的误差

泛化误差:模型在新数据上的误差

验证数据集:一个用来评估模型好坏的数据集

  • 例如拿出50%的数据作为训练

测试数据集:只能用一次

K则交叉验证

在没有足够数据时使用

算法:

  • 将训练数据分割为k块
  • for i in range(0, k]
    • 使用第i块作为验证数据集,其余作为训练数据集
  • 报告k个验证集误差的平均

训练数据集:训练模型参数

验证数据集:选择模型超参数

非大数据集上通常使用K折交叉验证

过拟合和欠拟合

根据数据集的复杂度选择模型容量

本质是泛化误差和训练误差的平衡

VC维可以衡量训练误差和泛化误差的间隔,但在深度学习中很少使用

SVM能解决的问题少于神经网络,神经网络可以通过卷积得到多种特征

相关推荐
字节跳动开源6 小时前
OpenViking 3D理解模型上线轴测八视图及PMI解析
人工智能·开源·aigc
阿里云大数据AI技术7 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
code2cat7 小时前
【随笔】MCP长任务:查询已经返回,为什么任务还没有完成
javascript·人工智能·后端·mcp
玄魂7 小时前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·agent·视觉设计
写标小何8 小时前
AI 标书工具技术架构解析:从文件解析到排版导出的工程实践
人工智能
敖老师8 小时前
DeepSeek Harness Web 版从装到用:dsh web 启动、接入本地 Ollama 全流程
人工智能
阿里云大数据AI技术8 小时前
DataWorks AI 数据生成:一条配置,量产多行业的仿真级业务数据
人工智能
QA老兵的AI实战手记8 小时前
别再用人工盯 AI 幻觉了:我手搓了一套带“代码审查拦截”的 AI 效能大屏(附源码)
人工智能
火山引擎开发者社区8 小时前
APMPlus・看得见的 Agent(三) | Agent 说完成,结果却不对?APMPlus Agent 轨迹帮你查清执行过程
人工智能
羲云网络8 小时前
Claude Fable 5.2 创意编程分析:程序化生成、多智能体协作与工程验收
人工智能·大语言模型·blender·游戏开发