模型训练之数据集

我们知道人工智能的四大要素:数据、算法、算力、场景。我们训练模型离不开数据

目标

一、数据集划分

定义

数据集:训练集是一组训练数据。

样本:一组数据中一个数据

特征:反映样本在某方面的表现、属性或性质事项

训练集:用来构建机器学习模型,机器通过数据来确定模型参数的过程称之为学习(训练)。

验证集 :辅助构建模型,用于在构建过程中评估模型,从而调整模型 超参数。

测试集:用于模型构建结束,验证最终模型的性能。

二、数据类型

1、图像、视频:一般用卷积神经网络来处理,非结构化数据

2、语音:序列数据。非结构化数据

3、文本:序列数据。非结构化数据

4、时序数据:序列数据。一般用循环神经网络来处理

三、数据集分割

目的:为了保证训练集、验证集、测试集是同分布的

方法:留出法、K-折线交叉验证、Holdout交叉验证、自助法等


四、偏差与方差





相关推荐
zxsz_com_cn2 分钟前
深度学习在剩余寿命预测(RUL)中的应用综述
深度学习·工业4.0·预测性维护·剩余寿命·rul
zzzll11113 分钟前
LangChain4j:Java 生态的 AI 应用开发利器
java·开发语言·人工智能
卷无止境7 分钟前
社区里最好用的 Deep Research 技能,到底藏在哪几个仓库里
人工智能
CoderJia程序员甲17 分钟前
GitHub 热榜项目 - 周榜(2026-08-30)
ai·大模型·llm·github·ai教程
hahaha601620 分钟前
HLS高层次综合设计技巧--循环merge和循环split
人工智能·算法·计算机视觉
JAI科研21 分钟前
Deepseek Agent Harness教程(七) | Deepseek Harness不是一个内核加一堆插件
开发语言·人工智能·深度学习·算法·自然语言处理·transformer·vllm
2601_9673387123 分钟前
尚硅谷2026尚硅谷Java全栈+Python智能体教程
java·人工智能
alwaysrun25 分钟前
AI与电力类比:系统性风险与社会治理对比
人工智能
tuanxiang27 分钟前
在线测AI含量:批量内容生成的合规性排查踩坑记录
人工智能·深度学习·机器学习
Python大数据分析@31 分钟前
为什么codex和chatgpt合并?
人工智能