推理时刻的精确性:当模型开始“证明“而不是“拟合“

从今天觉醒,技术赋予每一个人数字生命


推理时刻的精确性:当模型开始"证明"而不是"拟合"

技术背景:一个被指标掩盖的问题

我们习惯用测试集准确率判断模型好坏,但一个在 ImageNet 上 90% 的模型,遇到分布外样本时可能瞬间跌到随机水平。这不是工程调参能解决的问题,而是表示本身是否等价于生成机制 的问题。近期一篇来自 cs.LG/cs.AI/cs.LO 交叉领域的论文提出了一个尖锐的判据:模型只有在计算出与生成机制结构等价的表示时,才能在分布外泛化;逼近拟合出来的近似,无论残差多小,都会在数据外发散。

对在校学生和转行者来说,这个视角很实用:它把"泛化"从玄学变成了可以写进作品集的能力------判断一个模型是在"记住函数"还是"重建机制"。面试里常被追问的"你的模型为什么能外推",答案往往就藏在这里。

主流方案盘点:四条路线的职责分工

① 端到端神经网络(拟合派) 。职责是把输入映射到输出,代表是各类 Transformer、CNN。它的优势是通用,但论文指出:把神经网络输出阈值化成硬标签,不满足精确性判据------因为阈值化丢掉了边际分布信息,模型只是在拟合决策边界,而非重建生成过程。

② 逻辑张量网络(LTN) 。职责是把一阶逻辑约束软化成可微损失。问题在于它用连续近似替代离散推理,论文明确判定 LTN 不通过该判据:约束被"软化"后,满足性只是近似。

③ 可微归纳逻辑编程( differentiable ILP) 。职责是从事实和规则中学习逻辑程序。它在判据下通过,因为学到的规则结构可以精确对应生成机制。

④ Tensor Logic(T=0)。这是论文的核心案例。职责是用张量收缩实现离散逻辑:零温度下的收缩等价于离散推理,张量是布尔的、嵌入是正交归一的,只有算术是连续的。它"就地推导",不抽取外部表达式。局限也很清楚------没有无限递归,只能到 Datalog 而非 Prolog;对封闭域精确,但绑定新实体需要外部记忆。

对比与优劣:统一维度看差异

方案 表示形式 是否满足精确性判据 外推能力 主要短板
端到端 NN(阈值化) 连续近似 否 弱,残差复合发散 无法证明数据外的确定性
LTN 软化逻辑约束 否 中 近似替代精确满足
可微 ILP 逻辑程序 是 较强 规模与递归受限
Tensor Logic (T=0) 布尔张量+连续算术 是 封闭域精确 需外部记忆绑定新实体

论文还给出一个传播规则:混合架构的输出继承其路径上每个拟合估计器的界 。这解释了等变模型为何在某些轴上失败,也解释了 ARC-AGI 中归纳/转导的分裂。更狠的一点:在法则导出的划分上,精确假设类能找到 56.3% 的远距离可回答查询,而集成方法以虚假置信度"答对",距离度量甚至把排序搞反了。

选型建议:按场景而非唯一答案

场景一:课程作业/入门项目。用小型 NN 做基线即可,但要在报告里加一节"分布外测试",展示阈值化前后置信度变化------这是面试加分项。

场景二:需要可解释外推的竞赛(如 ARC-AGI 类)。优先考虑可微 ILP 或 Tensor Logic 思路,把"规则结构"作为一等公民。

场景三:安全关键系统。混合架构必须标注每条路径上的拟合估计器界,别让一个软约束悄悄污染整体保证。

未来展望:仍未解决的问题

论文的核心论点是:常见归纳偏置(对称性、记忆)之所以能达到精确,是因为人类注入了它们。这提示我们应"诱导精确表示"而非"拟合代理"。尚未解决的包括:如何在开放域绑定新实体而不依赖外部记忆、如何把精确性判据扩展到训练过程、以及大规模下 Datalog 表达力的工程化。对学习者而言,把"结构等价"写进你的项目文档,比多刷两个点更能体现深度。

相关推荐
一水鉴天1 小时前
同一与唯一:AppBus 外壳与 DevOps 内核 之1 20261121(元宝)
人工智能·机器学习
伞伞悦读3 小时前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习
电科_银尘5 小时前
【大模型算法与工程 27】训练配方:批量、学习率、精度与梯度裁剪
学习·算法·机器学习
硅谷秋水11 小时前
面向精确到达任务的机器人-对齐3D高斯溅射方法——基于腕部-相机VLA策略
数码相机·机器学习·计算机视觉·3d·机器人
龙腾AI白云12 小时前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
高洁011 天前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
在所不辞兄1 天前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
Oiiouui1 天前
原始CNN识别与训练模型实现
神经网络·机器学习·cnn
罗西的思考1 天前
【轻量化复现大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器
人工智能·深度学习·机器学习