模型独立的学习方式——自训练

一、定义

自训练(Self-Training),也叫自训练(Self-Teaching)或自举法(Bootstrapping),是一种非常简单的半监督学习算法Scudder, 1965, Yarowsky, 1995

二、算法解析及伪代码

自训练是首先使用标注数据来训练一个模型,并使用这个模型来预测无标注样本的标签,把预测置信度比较高的样本及其预测的伪标签加入训练集,然后重新训练新的模型,并不断重复这个过程。算法10.2给出了自训练的训练过程。

三、总结

自训练和密度估计中EM算法有一定的相似之处,通过不断地迭代来提高模型能力。但自训练的缺点是无法保证每次加入训练集的样本的伪标签是正确的。如果选择样本的伪标签是错误的,反而会损害模型的预测能力。因此,自训练最关键的步骤是如何设置挑选样本的标准。

相关推荐
chnyi6_ya18 小时前
论文阅读:CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer
论文阅读·深度学习·transformer
大连好光景19 小时前
BCELoss + sigmoid 换成 BCEWithLogitsLoss
人工智能·深度学习·机器学习
weixin_4684668520 小时前
纳米 AI 搜索新手极速上手指南
人工智能·python·深度学习·搜索引擎·ai·语言模型·自然语言处理
春日见1 天前
RL精华知识
人工智能·机器学习
lqqjuly1 天前
自动驾驶仿真平台:理论、架构与实践
人工智能·机器学习·自动驾驶
春日见1 天前
五分钟入门 强化学习---DQN(Deep Q Net)算法与实现
人工智能·python·深度学习·算法·microsoft·机器学习
xzzd_jokelin1 天前
公司AI开发痛点解析:多人+AI辅助 协同开发?
人工智能·机器学习·ai·ai编程·cloud·codex
香蕉也是布拉拉1 天前
2026-05-29 arXiv 论文带读:GeoAI、空间智能与多模态 Agent 的 9 篇高质量新作
人工智能·机器学习
万俟淋曦1 天前
【论文速递】2026年第02周(Jan-04-10)(Robotics/Embodied AI/LLM)
人工智能·深度学习·机器人·大模型·论文·robotics·具身智能
apcipot_rain1 天前
计科八股20260530——文本输入模型步骤、CNN权重共享、Resnet、Transformer、RNN
人工智能·深度学习·神经网络·数学建模·自然语言处理