模型独立的学习方式——自训练

一、定义

自训练(Self-Training),也叫自训练(Self-Teaching)或自举法(Bootstrapping),是一种非常简单的半监督学习算法Scudder, 1965, Yarowsky, 1995。

二、算法解析及伪代码

自训练是首先使用标注数据来训练一个模型,并使用这个模型来预测无标注样本的标签,把预测置信度比较高的样本及其预测的伪标签加入训练集,然后重新训练新的模型,并不断重复这个过程。算法10.2给出了自训练的训练过程。

三、总结

自训练和密度估计中EM算法有一定的相似之处,通过不断地迭代来提高模型能力。但自训练的缺点是无法保证每次加入训练集的样本的伪标签是正确的。如果选择样本的伪标签是错误的,反而会损害模型的预测能力。因此,自训练最关键的步骤是如何设置挑选样本的标准。

相关推荐
tellmewhoisi1 小时前
深度学习24:PyTorch:Sequential构建模型
人工智能·pytorch·深度学习
腾讯云大数据3 小时前
腾讯云+TBDS+智算平台:多模态数据处理与机器学习一体化实践
大数据·机器学习·云计算·腾讯云
DFT计算杂谈3 小时前
GSAS-II X 射线衍射(XRD)数据转换为对分布函数(PDF,Pair Distribution Function)
算法·机器学习·pdf
花月mmc3 小时前
FPGA数字信号处理与深度学习
嵌入式硬件·深度学习·fpga开发·信号处理
拜小白3 小时前
【论文解读】OmniSRNet:畸变感知学习——从单张全向图像恢复房间结构
深度学习·计算机视觉·全景图
FII工业富联科技服务4 小时前
从AI模型到Agentic AI:多智能体协同如何重构工业AI应用架构
人工智能·深度学习·ai智能体·agentic ai·柔性生产
小蒋观天下4 小时前
太阳能低功耗AI相机专项:AOV值守、唤醒时序、ISP启停时序BUG
深度学习·数码相机·算法·机器学习
程序猿编码4 小时前
告别 GPU 空转!token 级调度,Qwen/Llama 高并发推理引擎
人工智能·机器学习·llm·llama·大模型推理
zhangfeng11335 小时前
RSI = Recursive Self-Improvement,递归自我改进训练 大模型训练
人工智能·深度学习·机器学习
tellmewhoisi5 小时前
深度学习23:PyTorch:搭建神经网络测试(查看参数,模型结构和device设置)
pytorch·深度学习·神经网络