模型表示 - 模型表示技术,学习,经验文章

I Am a robert girl

3 小时前

推理时刻的精确性：当模型开始“证明“而不是“拟合“从今天觉醒,技术赋予每一个人数字生命我们习惯用测试集准确率判断模型好坏，但一个在 ImageNet 上 90% 的模型，遇到分布外样本时可能瞬间跌到随机水平。这不是工程调参能解决的问题，而是表示本身是否等价于生成机制的问题。近期一篇来自 cs.LG/cs.AI/cs.LO 交叉领域的论文提出了一个尖锐的判据：模型只有在计算出与生成机制结构等价的表示时，才能在分布外泛化；逼近拟合出来的近似，无论残差多小，都会在数据外发散。