模型独立的学习方式——自训练

一、定义

自训练(Self-Training),也叫自训练(Self-Teaching)或自举法(Bootstrapping),是一种非常简单的半监督学习算法[Scudder, 1965, Yarowsky, 1995]。

二、算法解析及伪代码

自训练是首先使用标注数据来训练一个模型,并使用这个模型来预测无标注样本的标签,把预测置信度比较高的样本及其预测的伪标签加入训练集,然后重新训练新的模型,并不断重复这个过程。算法10.2给出了自训练的训练过程。

三、总结

自训练和密度估计中EM算法有一定的相似之处,通过不断地迭代来提高模型能力。但自训练的缺点是无法保证每次加入训练集的样本的伪标签是正确的。如果选择样本的伪标签是错误的,反而会损害模型的预测能力。因此,自训练最关键的步骤是如何设置挑选样本的标准。

相关推荐
隐层漫游者2 小时前
2026深度学习硬核通关:从自动微分Autograd到激活函数全景图解,一文看懂神经网络的“灵魂”与“骨架”
深度学习
郝学胜-神的一滴3 小时前
深度学习损失函数:从原理到实战之 Smooth L1 Loss
人工智能·pytorch·python·深度学习·机器学习·数据挖掘
ForDreamMusk3 小时前
卷积层
人工智能·深度学习
高洁013 小时前
AI项目管理实战:从开发到交付的全流程管控
深度学习·机器学习·数据挖掘·transformer·知识图谱
joshchen2153 小时前
强化学习基础(赵世钰)第一章
人工智能·深度学习·算法·机器学习·强化学习
沐泽__3 小时前
欧氏距离、余弦相似度(cosin)、点积 区别与用途详解(附实例)
人工智能·机器学习
独隅4 小时前
Anaconda 配置 Keras 环境的详细流程指南
人工智能·深度学习·keras
lisw054 小时前
【计算机科学技术/AI领域】名词释义:词元(token)!
人工智能·机器学习·软件工程
AIGC安琪4 小时前
Transformer 和 LLM 到底是什么关系?
人工智能·深度学习·ai·语言模型·程序员·大模型·transformer