学习理论

orion-orion20 天前
机器学习·统计学习·学习理论
学习理论:代理损失函数的泛化界与Rademacher复杂度3月份以来的科研基本围绕推导代理损失函数的一致界展开,证明现已基本完工(关于代理损失函数的一致界的介绍可参见之前的博客《学习理论:预测器-拒绝器多分类弃权学习》)。导师建议我可以的话把泛化界也一起证了╰( ̄▽ ̄)╭。由于认识有搞过泛化的朋友,许多东西尽管没有亲自上手做但早已“耳濡目染”了,比如集中不等式这些。这篇博客旨在就代理损失函数的泛化界证明流程进行初步的介绍,并穿插介绍一些学习理论、高维概率中常用的概念。
orion-orion6 个月前
机器学习·统计学习·学习理论
学习理论:单阶段代理损失的(H, R) - 一致界证明我们在上一篇博客《学习理论:预测器-拒绝器多分类弃权学习》中介绍了弃权学习的基本概念和方法,其中包括了下列针对多分类问题的单阶段预测器-拒绝器弃权损失\(L_{\text{abst}}\):
orion-orion6 个月前
机器学习·统计学习·学习理论
学习理论:预测器-拒绝器多分类弃权学习目前确定去京大读博了,预计方向是学习理论(Learning Theory)。熟悉我的朋友可能知道,虽然我读研期间的方向主要是联邦学习和推荐系统,但是我也会更新一些理论相关的博客,因为我确实对理论方向比较感兴趣。目前准备10月份左右入学,在这之前接受导师的线上指导开始科研。现在就以以这篇博客做为我PhD科研的开始吧(#^.^#)。