模型训练之数据集

我们知道人工智能的四大要素:数据、算法、算力、场景。我们训练模型离不开数据

目标

一、数据集划分

定义

数据集:训练集是一组训练数据。

样本:一组数据中一个数据

特征:反映样本在某方面的表现、属性或性质事项

训练集:用来构建机器学习模型,机器通过数据来确定模型参数的过程称之为学习(训练)。

验证集 :辅助构建模型,用于在构建过程中评估模型,从而调整模型 超参数。

测试集:用于模型构建结束,验证最终模型的性能。

二、数据类型

1、图像、视频:一般用卷积神经网络来处理,非结构化数据

2、语音:序列数据。非结构化数据

3、文本:序列数据。非结构化数据

4、时序数据:序列数据。一般用循环神经网络来处理

三、数据集分割

目的:为了保证训练集、验证集、测试集是同分布的

方法:留出法、K-折线交叉验证、Holdout交叉验证、自助法等


四、偏差与方差





相关推荐
Blossom.1187 分钟前
把 AI 推理塞进「 8 位 MCU 」——0.5 KB RAM 跑通关键词唤醒的魔幻之旅
人工智能·笔记·单片机·嵌入式硬件·深度学习·机器学习·搜索引擎
小贤编程手记21 分钟前
毛绒变装、吉卜力风...快手AI视频可灵为什么好用?
人工智能·数码产品
TGITCIC29 分钟前
从依赖到自研:一个客服系统NLP能力的跃迁之路
人工智能·智能客服·ai大模型·大模型落地·ai落地·大模型ai·rag增强检索
鲲鹏Talk30 分钟前
燃爆了!我在字节亲历一场 AI 编程盛宴,干货多到溢出来!
人工智能·程序员
MARS_AI_1 小时前
云蝠智能VoiceAgent:AI赋能售后服务场景的创新实践
人工智能·语言模型·自然语言处理·人机交互·信息与通信
全星0071 小时前
从合规到卓越:全星QMS如何成为制造企业的质量战略引擎
人工智能
桃源学社(接毕设)1 小时前
基于人工智能和物联网融合跌倒监控系统(LW+源码+讲解+部署)
人工智能·python·单片机·yolov8
CCF_NOI.2 小时前
解锁聚变密码:从微观世界到能源新未来
大数据·人工智能·计算机·聚变
张3蜂2 小时前
深度解读 Browser-Use:让 AI 驱动浏览器自动化成为可能
运维·人工智能·自动化