哈喽，我是子牙老师。前面花了五年时间通关了计算机：手写操作系统、手写CPU虚拟机、手写Linux系统、手写GDB调试器、手写编程语言...，后面准备通关AI，研发出所有大家想学却没人教或者学不到的AI领域课程。如果你感兴趣，可以关注我的公众号【硬核子牙】
现在的AI强大的一批，大家对它的智能性是不是非常好奇：它为什么能看懂或听懂人话？它为什么给出的答案能够超出你的预期？甚至觉得它怎么那么懂你？这篇文章，我就满足你的好奇，告诉你一切，答案绝对在你意料之外
你可能想问：要把AI的智能性展示出来，怎么做呢？让大模型自己说出来！怎么让大模型自己说出来呢？答案只有一个：自己写一个大模型，让它说！恰好，我就写了一个
接下来，听我娓娓道来
先理解预测token
讨论大模型智能之前，先得搞清楚大模型预测token具体是怎么做的
当今世界的大模型如Chatgpt、Gemini、deepseek、豆包...底层都是基于transformer架构实现的，这个想必是共识吧
transformer架构，本质是token预测。那大模型为什么能完整回答一个问题呢？本质是token预测+自回归
比如我这样训练大模型，让它知道它是谁
所以它能回答出来
大模型能做到这件事的本质，就是预测token+自回归。具体是怎么做的呢？我通过代码给你讲解
一、大模型拿到用户发的问题：你是谁？context_len=4。我写的大模型采用的是固定context_len=8。用户输入的context_len=4，不足8，怎么办？可以填充PAD，补齐至context_len=8
二、将context_len=8的文本送入tokenizer，得到每个字的tokenID。X_ids就是8个字对应的tokenID
三、将X_ids送入embedding，就会得到8个字对应的embedding向量+position embedding向量。我写的大模型，embed_dim=12，因为后面会分3个head，每个head分4个。所以得到的矩阵.shape就是(8,12)
四、后面还会进行一系列的运算，比如QKV attention、multi head attention、masked attention、Add&Norm、Feed Forward
最终得到output
这里面概率最大的，就是预测到的下一个token。问号后面，【我】的概率是最大的（概率排前五的我也列出来了）
五、将预测到的【我】拼到用户的问题（你是谁？）的后面，继续丢给大模型去预测下一个token，这就是自回归。那什么时候结束呢？预测到EOS的时候
大模型预测token的完整流程，就是这样的
大模型真的有智能吗？
这里面多嘴说一句：关于预测token与自回归，我相信你们应该不止看过一次了，但是你们看到的应该都是画图给你讲解的，像我这样写一个大模型，运行出效果来给你讲解的，是不是我是唯一的？你们是否感觉，这样的讲解，一下就看懂了
预测token，相信大家应该彻底理解了，接下来可以讨论智能了，你觉得大模型有智能吗？
看你从哪个角度来说。如果从本能角度，它没有。人的智能是与生俱来的，后天的学习可以增强人的智能，刚写出来的大模型，里面的参数都是随机生成的，还是个人工智障。如果从学习角度来说，它有，它的智能是学习来的，就如上面的例子，在那样的语义下，它看到问号，就知道后面接【我】
所以，大模型领域为什么会不断出现新技术？大家现在应该明白了：这些技术最终都在围绕同一个核心目标展开------增强大模型的学习能力、理解能力、推理能力和预测能力，让它根据当前上下文，更准确地预测下一个 Token
顺便提一句：不了解大模型最初的技术，就无法理解新生的技术，这个就是我做的课程，第一版没有使用最新技术的原因。我教你最新的技术，你只学到最新的技术，你不知道最新的技术为何产生，如何产生...我教你最初的技术，你能看到问题，你会思考如何解决，再看最新的技术，秒懂！
起风了，会有落叶凋零；下雨了，气氛是压抑的；到了晚上，天空中是没有太阳的......这些我们认知中的常识，大模型都需要去学会。如果你让大模型生成一张图片：唯美的夜景，大模型生成的图片里面有太阳，是不是就很离谱？
大模型为什么能涌现出智能来，这个是人类的未解之谜之一。我把大模型训练以后得到的参数导出来，你看看你能不能理解：大模型根据这些参数就能回答：我是谁
后来，人类实在研究不出来大模型为什么涌现出智能，妥协了，就问AI这个问题，得到的答案是
对于大模型涌现智能，我的理解是：人类设计的算法如position embedding、self attention、mask attention、multi head attention，误打误撞，让大模型具备了学习词语关系、句子结构、语义关系、知识结构的能力。大力出奇迹，喂给大模型海量的人类知识+巨量的算力，让大模型学会了：语文、数学、英语、物理、化学、生物、地理、哲学、商学......这才是大模型涌现出智能的真正原因！但是大模型展现智能的方式是结果，而不是过程，所以你去看参数，是无法解释大模型智能的
如果你站在很高的维度看大模型：大模型就是人类将物理世界的一切映射进数字世界，物理世界存在于数字世界中的方式就是算法+参数
大模型，是人类对世界的认识，被压缩成参数之后，在算法中重新运行。
智能的承载体：算法+参数
不知道你是否问过自己这样的问题：大模型里面到底是什么？
Linux内核里面是什么？
那大模型里面是什么呢？
每个transformer block内部长这样
写代码实现
npz是一个文件，用来保存模型训练好的参数。部署大模型的时候，推理引擎会载入npz文件，初始化大模型，于是就有了你可以使用的：Chatgpt、Gemini、豆包、deepseek
关于大模型的智能，讲到这里，我相信你已经非常清楚了。下一篇就聊：物理世界映射进虚拟世界，到底是怎么做到的（如果你对这些内容感兴趣，可以关注我的公众号【硬核子牙】，咱们文字交流，灵魂碰撞）