【ChatGPT】意义空间与语义运动定律 —— AI 世界的神秘法则

作者介绍

斯蒂芬•沃尔弗拉姆(Stephen Wolfram)

计算机科学家、数学家和理论物理学家,当今科学和技术领域重要的革新者之一。他创造了在全世界备受推崇的软件系统------Mathematica、Wolfram|Alpha和Wolfram语言。

在 ChatGPT 内部,任何文本都可以被有效地表示为一个由数组成的数组,可以将其视为某种"语言特征空间"中一个点的坐标。因此,ChatGPT 续写一段文本,就相当于在语言特征空间中追踪一条轨迹。

现在我们会问:是什么让这条轨迹与我们认为有意义的文本相对应呢?是否有某种"语义运动定律"定义(或至少限制)了语言特征空间中的点如何在保持"有意义"的同时到处移动?

这种语言特征空间是什么样子的呢?以下是一个例子,展示了如果将这样的特征空间投影到二维平面上,单个词(这里是常见名词)可能的布局方式。

我们在介绍嵌入时见过一个包含植物词和动物词的例子。这两个例子都说明了,"语义上相似的词"会被放在相近的位置。

再看一个例子,下图展示了不同词性的词是如何布局的。

当然,一个词通常不只有"一个意思"(也不一定只有一种词性)。通过观察包含一个词的句子在特征空间中的布局,人们通常可以"分辨出"它们不同的含义,就像如下例子中的 crane 这个词(指的是"鹤"还是"起重机"?)。

看来,至少可以将这个特征空间视为将"意思相近的词"放在这个空间中的相近位置。但是,我们能够在这个空间中识别出什么样的额外结构呢?

例如,**是否存在某种类似于"平行移动"的概念,反映了空间的"平坦性"?**理解这一点的一种方法是看一下相似的词。

即使投影到二维平面上,也通常仍然有一些"平坦性的迹象",虽然这并不是普遍存在的。

那么轨迹呢?我们可以观察 ChatGPT 的提示在特征空间中遵循的轨迹,然后可以看到 ChatGPT 是如何延续这条轨迹的。

这里无疑没有"几何上显而易见"的运动定律。这一点儿也不令人意外,我们充分预期到了这会相当复杂。例如,即使存在一个"语义运动定律",我们也远不清楚它能以什么样的嵌入(实际上是"变量")来最自然地表述。

在上图中,我们展示了"轨迹"中的几步---在每一步,我们都选择了 ChatGPT 认为最有可能("零温度"的情况)出现的词。不过,我们也可以询问在某一点处可能出现的"下一个"词有哪些以及它们出现的概率是多少。

在这个例子中,我们看到的是由高概率词组成的一个"扇形",它似乎在特征空间中朝着一个差不多明确的方向前进。如果继续前进会发生什么?沿轨迹移动时出现的连续"扇形"如下所示。

下面是一幅包含 40 步的三维示意图。

这看起来很混乱,并且没有特别推动通过实证研究"ChatGPT 内部的操作"来识别"类似数学物理"的"语义运动定律"。

但也许我们只是关注了"错的变量"(或者错的坐标系),如果关注对的那一个,就会立即看到 ChatGPT 正在做"像数学物理一样简单"的事情,比如沿测地线前进。

但目前,我们还没有准备好从它的"内部行为"中"实证解码"ChatGPT 已经"发现"的人类语言的"组织"规律。

相关推荐
l12345sy13 分钟前
Day16_【机器学习—模型拟合问题】
人工智能·机器学习
Ai工具分享26 分钟前
让模糊物体变清晰的视频AI:快速提升画质指南
人工智能·音视频
霍格沃兹测试开发学社测试人社区27 分钟前
MCP零基础学习(7)|实战指南:构建论文分析智能体
人工智能·测试工具
开开心心就好1 小时前
PDF转长图工具,一键多页转图片
java·服务器·前端·数据库·人工智能·pdf·推荐算法
l12345sy2 小时前
Day16_【机器学习概述】
人工智能·机器学习
大千AI助手2 小时前
InstructGPT:使用人类反馈训练语言模型以遵循指令
人工智能·gpt·语言模型·自然语言处理·rlhf·指令微调·模型对齐
机器之心2 小时前
时代2025 AI百人榜出炉:任正非、梁文锋、王兴兴、彭军、薛澜等入选,华人影响力爆棚
人工智能·openai
机器之心2 小时前
谢赛宁回忆七年前OpenAI面试:白板编程、五小时会议,面完天都黑了
人工智能·openai
Json_2 小时前
使用springboot开发-AI智能体平台管理系统,统一管理各个平台的智能体并让智能体和AI语音设备通信,做一个属于自己的小艾同学~
人工智能·spring boot·openai
硬核隔壁老王2 小时前
收藏!Agentic RAG实战:从入门到智能问答系统完整实现指南
人工智能·程序员·llm