OpenAI发布GPT-4思维破解新策略,Ilya亦有贡献!

OpenAI正在研究如何破解GPT-4的思维,并公开了超级对齐团队的工作,Ilya Sutskever也在作者名单中。

GPT-4o是否具备记忆能力?DeepMind和开源社区解开LLM记忆的谜团 !_

GPT-4o深夜发布!Plus免费可用!https://www.zhihu.com/pin/1773645611381747712

没体验过OpenAI最新版GPT-4o?快戳最详细升级教程,几分钟搞定:

升级ChatGPT-4o Turbo步骤https://www.zhihu.com/pin/1768399982598909952

该研究提出了一种改进大规模训练稀疏自编码器的方法,并成功将GPT-4的内部表征解构为1600万个可理解的特征。

这使得复杂语言模型的内部工作变得更加透明。

目前,语言模型神经网络的内部工作原理仍是一个"黑盒",无法完全理解。

为了理解和解释神经网络,首先需要找到对神经计算有用的基本构件。

然而,神经网络中的激活通常表现出不可预测和复杂的模式,每次输入几乎总会引发密集的激活。

而现实世界中其实很稀疏,在任何给定的情境中,人脑只有一小部分相关神经元会被激活。

在OpenAI超级对齐团队的这项研究中,他们推出了一种基于TopK激活函数的新稀疏自编码器(SAE)训练技术栈,消除了特征缩小问题,能够直接设定L0(直接控制网络中非零激活的数量)。

该方法在均方误差(MSE)与L0评估指标上表现优异,即使在1600万规模的训练中,几乎不产生失活的潜在单元(latent)。

具体来说,他们使用GPT-2 small和GPT-4系列模型的残差流作为自编码器的输入,选取网络深层(接近输出层)的残差流,如GPT-4的5/6层、GPT-2 small的第8层。

并使用之前工作中提出的基线ReLU自编码器架构,编码器通过ReLU激活获得稀疏latent z,解码器从z中重建残差流。

损失函数包括重建MSE损失和L1正则项,用于促进latent稀疏性。

此外,自编码器训练时容易出现大量latent永远不被激活(失活)的情况,导致计算资源浪费。

团队的解决方案包括两个关键技术:

  1. 将编码器权重初始化为解码器权重的转置,使latent在初始化时可激活。

  2. 添加辅助重建损失项,模拟用top-kaux个失活latent进行重建的损失。

通过这些方法,即使是1600万latent的大规模自编码器,失活率也只有7%。

团队还提出了多重TopK损失函数的改进方案,提高了高稀疏情况下的泛化能力,并且探讨了两种不同的训练策略对latent数量的影响,这里就不过多展开了。

推荐阅读:

GPT-4o是否具备记忆能力?DeepMind和开源社区解开LLM记忆的谜团 !

如何免费使用GPT-4o?如何升级GPT...

更强大Mamba-2正式发布啦!!!

黎曼猜想取得重大进展!!

相关推荐
ZhengEnCi16 分钟前
Agent 只输出计划不调用工具怎么办:从终止信号错位到结果验收的四层防线
人工智能·agent
xsd2024111829 分钟前
把模型从 FP32 压到 INT8:PTQ、QAT 与 PyTorch 量化全链路
人工智能
AI源码29 分钟前
基于机器学习的优衣库销售预测与决策系统
人工智能·机器学习
可夫小子1 小时前
13 条数据跑出 65.87 分:这场 48 小时真机挑战赛,拆穿了具身智能的落地真相
人工智能
大模型真好玩1 小时前
做好真人分身却不知道拍什么?8个视频应用场景直接抄
人工智能·agent·deepseek
ZhengEnCi2 小时前
黄仁勋想回英伟达却被拒:创始人 CEO 辞职后为什么回不来,董事会继任机制全拆解
人工智能·nvidia·团队管理
真上帝的左手2 小时前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型
用户019027581612 小时前
AlphaFeed 查不到代码返回空?非法/缺后缀 symbol 的行为与处理
python
墨林陌2 小时前
AI 热点日报(2026-11-18):OpenAI 发布 GPT-6.2,APEC 峰会聚焦 AI,AI 制药融资创新高
人工智能
isfox2 小时前
Python 单元测试:别再用 print 调试了,写个测试一劳永逸
python