推理时刻的精确性:当模型开始“证明“而不是“拟合“

从今天觉醒,技术赋予每一个人数字生命


推理时刻的精确性:当模型开始"证明"而不是"拟合"

技术背景:一个被指标掩盖的问题

我们习惯用测试集准确率判断模型好坏,但一个在 ImageNet 上 90% 的模型,遇到分布外样本时可能瞬间跌到随机水平。这不是工程调参能解决的问题,而是表示本身是否等价于生成机制 的问题。近期一篇来自 cs.LG/cs.AI/cs.LO 交叉领域的论文提出了一个尖锐的判据:模型只有在计算出与生成机制结构等价的表示时,才能在分布外泛化;逼近拟合出来的近似,无论残差多小,都会在数据外发散。

对在校学生和转行者来说,这个视角很实用:它把"泛化"从玄学变成了可以写进作品集的能力------判断一个模型是在"记住函数"还是"重建机制"。面试里常被追问的"你的模型为什么能外推",答案往往就藏在这里。

主流方案盘点:四条路线的职责分工

① 端到端神经网络(拟合派) 。职责是把输入映射到输出,代表是各类 Transformer、CNN。它的优势是通用,但论文指出:把神经网络输出阈值化成硬标签,不满足精确性判据------因为阈值化丢掉了边际分布信息,模型只是在拟合决策边界,而非重建生成过程。

② 逻辑张量网络(LTN) 。职责是把一阶逻辑约束软化成可微损失。问题在于它用连续近似替代离散推理,论文明确判定 LTN 不通过该判据:约束被"软化"后,满足性只是近似。

③ 可微归纳逻辑编程( differentiable ILP) 。职责是从事实和规则中学习逻辑程序。它在判据下通过,因为学到的规则结构可以精确对应生成机制。

④ Tensor Logic(T=0)。这是论文的核心案例。职责是用张量收缩实现离散逻辑:零温度下的收缩等价于离散推理,张量是布尔的、嵌入是正交归一的,只有算术是连续的。它"就地推导",不抽取外部表达式。局限也很清楚------没有无限递归,只能到 Datalog 而非 Prolog;对封闭域精确,但绑定新实体需要外部记忆。

对比与优劣:统一维度看差异

方案 表示形式 是否满足精确性判据 外推能力 主要短板
端到端 NN(阈值化) 连续近似 否 弱,残差复合发散 无法证明数据外的确定性
LTN 软化逻辑约束 否 中 近似替代精确满足
可微 ILP 逻辑程序 是 较强 规模与递归受限
Tensor Logic (T=0) 布尔张量+连续算术 是 封闭域精确 需外部记忆绑定新实体

论文还给出一个传播规则:混合架构的输出继承其路径上每个拟合估计器的界 。这解释了等变模型为何在某些轴上失败,也解释了 ARC-AGI 中归纳/转导的分裂。更狠的一点:在法则导出的划分上,精确假设类能找到 56.3% 的远距离可回答查询,而集成方法以虚假置信度"答对",距离度量甚至把排序搞反了。

选型建议:按场景而非唯一答案

场景一:课程作业/入门项目。用小型 NN 做基线即可,但要在报告里加一节"分布外测试",展示阈值化前后置信度变化------这是面试加分项。

场景二:需要可解释外推的竞赛(如 ARC-AGI 类)。优先考虑可微 ILP 或 Tensor Logic 思路,把"规则结构"作为一等公民。

场景三:安全关键系统。混合架构必须标注每条路径上的拟合估计器界,别让一个软约束悄悄污染整体保证。

未来展望:仍未解决的问题

论文的核心论点是:常见归纳偏置(对称性、记忆)之所以能达到精确,是因为人类注入了它们。这提示我们应"诱导精确表示"而非"拟合代理"。尚未解决的包括:如何在开放域绑定新实体而不依赖外部记忆、如何把精确性判据扩展到训练过程、以及大规模下 Datalog 表达力的工程化。对学习者而言,把"结构等价"写进你的项目文档,比多刷两个点更能体现深度。

相关推荐
在所不辞兄3 小时前
【零基础学智能仿真-69】综合项目——材料参数驱动的仿真研究
人工智能·深度学习·神经网络·算法·机器学习·1024程序员节
EnCi Zheng8 小时前
脉冲神经网络是什么:从 LIF 神经元到第三代神经网络的能耗优势
人工智能·深度学习·神经网络·脉冲神经网络
Dovis(誓平步青云)8 小时前
拖动关键帧角色就抽动,动画编辑器怎样补齐中间状态
开发语言·前端·javascript·机器学习·编辑器
kaixin_啊啊8 小时前
【零基础学AI】第 21 章——神经网络怎样工作
人工智能·深度学习·神经网络
一水鉴天9 小时前
决策树、三支决策与随机森林:从精确值到能所双亡双活 20261030(元宝)
人工智能·机器学习
雨晨源码(同名B站)9 小时前
深度学习毕业设计选题推荐:基于YOLO11的交通标志检测系统设计与实现(Python+Django+Vue3+对接deepseek)
人工智能·python·深度学习·机器学习·django·课程设计
LaughingZhu9 小时前
Product Hunt 热榜 2026-11-01:Specsight、SKI、telemetry.dev
人工智能·深度学习·神经网络·搜索引擎·百度
computersciencer9 小时前
应用贝叶斯公式:迟到了,那坐的是哪种交通工具呢?
算法·机器学习·概率论
fanruitian10 小时前
python 机器学习 交叉验证train_test_split 网格搜索GridSearchCV
开发语言·python·机器学习