自步学习的介绍 self paced learning

这方面的研究专家,参考西安交通大学的
孟德宇老师

他最近的研究方向:

Fundamental problems in machine learning and computer vision, especially including:

Meta-learning

Variational bayesian methods on inverse problems

Robust and interpretable deep learning

1.1 Self-paced curriculum learning

https://ojs.aaai.org/index.php/AAAI/article/view/9608;

课程学习(CL)或自定进度学习(SPL)代表了最近提出的一种学习制度,其灵感来自人类和动物的学习过程,在训练中逐渐从简单到更复杂的样本。这两种方法具有相似的概念学习范式,但具体的学习方案不同。在CL中,课程由先验知识预先确定,此后保持固定。因此,这种方法在很大程度上依赖于先验知识的质量,而忽略了对学习者的反馈。在SPL中,课程是动态确定的,以适应精益者的学习速度。然而,SPL无法处理先验知识,使其容易过度拟合。在本文中,我们发现了CL和SPL之间缺失的联系,并提出了一个名为自定进度课程倾斜(SPCL)的统一框架。SPCL被表述为一个简洁的优化问题,它既考虑了训练前已知的先验知识,也考虑了训练期间的学习进度。与人类教育相比,SPCL类似于"讲师-学生-协作"学习模式,而不是CL中的"讲师驱动"或SPL中的"学生驱动"。根据经验,我们证明了SPCL在两个任务上的优势

1.2 课程学习

参考阅读

http://huangc.top/2021/06/13/Curriculum-Learning-2021/

1.3

2.

2.1

2.2

2.3

3.

3.1

3.2

3.3

课程学习(CL)或自定进度学习(SPL)代表了最近提出的一种学习制度,其灵感来自人类和动物的学习过程,在训练中逐渐从简单到更复杂的样本。这两种方法具有相似的概念学习范式,但具体的学习方案不同。在CL中,课程由先验知识预先确定,此后保持固定。因此,这种方法在很大程度上依赖于先验知识的质量,而忽略了对学习者的反馈。在SPL中,课程是动态确定的,以适应精益者的学习速度。然而,SPL无法处理先验知识,使其容易过度拟合。在本文中,我们发现了CL和SPL之间缺失的联系,并提出了一个名为自定进度课程倾斜(SPCL)的统一框架。SPCL被表述为一个简洁的优化问题,它既考虑了训练前已知的先验知识,也考虑了训练期间的学习进度。与人类教育相比,SPCL类似于"讲师-学生-协作"的学习模式,而不是CL中的"讲师驱动"或SPL中的"学生驱动"。根据经验,我们证明了SPCL在两个任务上的优势

相关推荐
小玮看世界10 分钟前
当“安全“变成“教训“:《拟人化暂行办法》时代,AI护栏的过度拒答之困与破局
大数据·人工智能
本当迷ya21 分钟前
8月17日最新 Codex gpt-5.6-sol 开启 1M 上下文封印
人工智能
jinggongszh41 分钟前
使用AI协同开发产品条码规则功能——从“理解方案、原型、接口文档”到“落地真实前端代码”
前端·人工智能·mes系统·mes工程架构
宋哥转AI1 小时前
深入理解 AI Agent · MEMORY #02:记忆的工程机制
人工智能·agent·ai编程
一名普通的电源工程师1 小时前
WRF2424S‑3WR2 适配优选 钡特电源 VF3‑24S24S|3W 工业 DC‑DC 模块电源选型拆解
人工智能·电源模块·工业电源
野三关彭于晏1 小时前
Agent 时代,如何用 AI 重塑教育信息化
人工智能·agent
哔哩哔哩技术1 小时前
IndexTTS 2.5 让声音跨越语言
人工智能
Mr_凌宇1 小时前
codex开启1M上下文
人工智能·程序员
AI英德西牛仔1 小时前
豆包导出 pdf 颜色不一样怎么办,选用 AI 导出鸭优化文档导出,结合行业白皮书数据解析色彩失真成因
人工智能·ai·chatgpt·pdf·deepseek·ai导出鸭
神奇小汤圆1 小时前
RAG检索优化实战:从67%到92%,我做了这4步
人工智能