机器学习(二十一):错误分析、创造数据和迁移学习

一、错误分析

假设交叉验证集一共有500个数据点,模型拟合结果中,有100个数据点有误。

错误分析就是,手动地分析这100个错误数据(或随机选择一些错误数据),根据它们的共同属性、共同特征分类,然后根据特征进一步优化模型。

二、创造数据

首先,获取大量数据的成本很高,错误分析可以告诉我们,着重获取某一方面/特征的数据,而不是获取所有数据,可以减少成本。

当需要获取更多数据时,常用的添加数据的方法有数据增强和数据合成:

2.1 数据增强

数据增强:对原数据进行扭曲或改变,创造更多格外数据,常用于图像和语言类型的任务

例如,图像识别:通过把已有的图像进行旋转、放大、缩小、调整对比度、镜像、网格扭曲图像,创造更多的额外数据

语音识别:增加噪音背景,降低音质(像是在坏的录音机录制一样的声音)

2.2 数据合成

数据合成:创造合成,主要应用于计算机视觉任务。

例如:识别图像中文字的任务:可以在文本编辑器随机敲入一些文本,把不同字体、对比度、颜色的字体进行截图,创造合成数据。

三、迁移学习

对于没有大量数据的学习任务,可以使用迁移学习,使用来自不同任务的数据来帮助训练模型。

第一步:监督预训练

在拥有大型数据集的任务中,预先训练神经网络。例如此任务从大量图片中训练识别1000种分类:猫、狗、车、人等等,训练出隐藏层的参数。

第二步:微调

在数据量小的任务中,使用预先训练好的神经网络,隐藏层参数使用预先训练出的参数,然后使用本任务的数据进行参数微调。例如本任务需要从少量图片中训练识别数字0-9,可以使用上一步训练好的参数w1-w4,b1-b4,然后使用本任务的输入图片微调参数。

如果数据量很小,就只需要微调输出层参数;如果数据量大,可以微调所有参数。

微调的前提是使用和预训练相同类型的输入。

常用的操作:

  1. 下载具有相同类型的、在大型数据集上预先训练过的神经网络
  2. 使用自己的数据进行微调

四、机器学习项目的完整周期

机器学习项目的完整周期:

部署到生产环境以后,需要继续监控系统和维护系统,如果有需要,需要获取更多数据,重新训练模型。

学习来源:吴恩达机器学习,13.1-13.6节

相关推荐
BFT白芙堂1 分钟前
睿尔曼系列机器人——以创新驱动未来,重塑智能协作新生态(上)
人工智能·机器学习·机器人·协作机器人·复合机器人·睿尔曼机器人
aneasystone本尊7 分钟前
使用 MCP 让 Claude Code 集成外部工具
人工智能
静心问道17 分钟前
SEW:无监督预训练在语音识别中的性能-效率权衡
人工智能·语音识别
xwz小王子23 分钟前
从LLM到WM:大语言模型如何进化成具身世界模型?
人工智能·语言模型·自然语言处理
我爱一条柴ya24 分钟前
【AI大模型】深入理解 Transformer 架构:自然语言处理的革命引擎
人工智能·ai·ai作画·ai编程·ai写作
静心问道25 分钟前
FLAN-T5:规模化指令微调的语言模型
人工智能·语言模型·自然语言处理
李师兄说大模型26 分钟前
KDD 2025 | 地理定位中的群体智能:一个多智能体大型视觉语言模型协同框架
人工智能·深度学习·机器学习·语言模型·自然语言处理·大模型·deepseek
静心问道27 分钟前
SqueezeBERT:计算机视觉能为自然语言处理在高效神经网络方面带来哪些启示?
人工智能·计算机视觉·自然语言处理
Sherlock Ma27 分钟前
百度开源文心一言4.5:论文解读和使用入门
人工智能·百度·自然语言处理·开源·大模型·文心一言·多模态
weisian15132 分钟前
人工智能-基础篇-18-什么是RAG(检索增强生成:知识库+向量化技术+大语言模型LLM整合的技术框架)
人工智能·语言模型·自然语言处理