【ChatGPT】意义空间与语义运动定律 —— AI 世界的神秘法则

作者介绍

斯蒂芬•沃尔弗拉姆(Stephen Wolfram)

计算机科学家、数学家和理论物理学家,当今科学和技术领域重要的革新者之一。他创造了在全世界备受推崇的软件系统------Mathematica、Wolfram|Alpha和Wolfram语言。

在 ChatGPT 内部,任何文本都可以被有效地表示为一个由数组成的数组,可以将其视为某种"语言特征空间"中一个点的坐标。因此,ChatGPT 续写一段文本,就相当于在语言特征空间中追踪一条轨迹。

现在我们会问:是什么让这条轨迹与我们认为有意义的文本相对应呢?是否有某种"语义运动定律"定义(或至少限制)了语言特征空间中的点如何在保持"有意义"的同时到处移动?

这种语言特征空间是什么样子的呢?以下是一个例子,展示了如果将这样的特征空间投影到二维平面上,单个词(这里是常见名词)可能的布局方式。

我们在介绍嵌入时见过一个包含植物词和动物词的例子。这两个例子都说明了,"语义上相似的词"会被放在相近的位置。

再看一个例子,下图展示了不同词性的词是如何布局的。

当然,一个词通常不只有"一个意思"(也不一定只有一种词性)。通过观察包含一个词的句子在特征空间中的布局,人们通常可以"分辨出"它们不同的含义,就像如下例子中的 crane 这个词(指的是"鹤"还是"起重机"?)。

看来,至少可以将这个特征空间视为将"意思相近的词"放在这个空间中的相近位置。但是,我们能够在这个空间中识别出什么样的额外结构呢?

例如,**是否存在某种类似于"平行移动"的概念,反映了空间的"平坦性"?**理解这一点的一种方法是看一下相似的词。

即使投影到二维平面上,也通常仍然有一些"平坦性的迹象",虽然这并不是普遍存在的。

那么轨迹呢?我们可以观察 ChatGPT 的提示在特征空间中遵循的轨迹,然后可以看到 ChatGPT 是如何延续这条轨迹的。

这里无疑没有"几何上显而易见"的运动定律。这一点儿也不令人意外,我们充分预期到了这会相当复杂。例如,即使存在一个"语义运动定律",我们也远不清楚它能以什么样的嵌入(实际上是"变量")来最自然地表述。

在上图中,我们展示了"轨迹"中的几步---在每一步,我们都选择了 ChatGPT 认为最有可能("零温度"的情况)出现的词。不过,我们也可以询问在某一点处可能出现的"下一个"词有哪些以及它们出现的概率是多少。

在这个例子中,我们看到的是由高概率词组成的一个"扇形",它似乎在特征空间中朝着一个差不多明确的方向前进。如果继续前进会发生什么?沿轨迹移动时出现的连续"扇形"如下所示。

下面是一幅包含 40 步的三维示意图。

这看起来很混乱,并且没有特别推动通过实证研究"ChatGPT 内部的操作"来识别"类似数学物理"的"语义运动定律"。

但也许我们只是关注了"错的变量"(或者错的坐标系),如果关注对的那一个,就会立即看到 ChatGPT 正在做"像数学物理一样简单"的事情,比如沿测地线前进。

但目前,我们还没有准备好从它的"内部行为"中"实证解码"ChatGPT 已经"发现"的人类语言的"组织"规律。

相关推荐
黎燃18 分钟前
基于情感识别的在线教育互动优化:技术实现与未来展望
人工智能
shengyicanmou32 分钟前
2025年物联网新趋势:格行随身WiFi的模块化架构与低延迟优化
大数据·人工智能
Ai财富密码37 分钟前
AI赋能教育:低代码游戏化学习平台
人工智能·低代码·游戏
补三补四1 小时前
Shapley与SHAP
大数据·人工智能·算法·机器学习·数据分析
qq_314009831 小时前
Dify版本升级实操
人工智能·aigc·开源软件
Hao想睡觉1 小时前
CNN卷积神经网络之VggNet和GoogleNet经典网络模型(四)
网络·人工智能·cnn
我不是小upper1 小时前
anaconda、conda、pip、pytorch、torch、tensorflow到底是什么?它们之间有何联系与区别?
人工智能·pytorch·深度学习·conda·tensorflow·pip
z樾1 小时前
Sum-rate计算
开发语言·python·深度学习
智汇云校乐乐老师1 小时前
产教融合 AI赋能 创新引领 | 第十七届高校教育发展高峰论坛在利川成功举办!
人工智能·高峰论坛·讯方技术