《大模型是怎样跑起来的（轻科技）》硬件篇 阅读笔记
硬件篇
前面讲的是模型怎样生成一句话。现在要看另一个问题：这么多计算，到底在哪里跑？
无论是向量、注意力，还是参数矩阵，最后都要落到数学运算上。
大模型的核心计算，大量都是乘法和加法，尤其是矩阵乘法。
这件事的特点是：每一步并不神秘，但数量极其庞大。
一个小学生也能理解乘法和加法，但如果要在几秒钟里完成数以亿计甚至更多的乘加运算，就必须依靠专门的硬件。
这就是 GPU 这类加速芯片登场的地方。
为什么不是只靠CPU
普通电脑里也有 CPU。它当然能计算。小模型、简单任务，CPU 也能跑。
只是当模型变得很大，参数很多，用户又希望几秒钟得到回答时，CPU 就显得不够适合。
CPU 更像少数几个能力很强的通用工人。它们很聪明，能处理复杂流程，能应对各种分支判断，也能管理整个系统。但问题是，数量有限。
GPU 更像一大片同时工作的工人。每个工人不一定很全能，但数量多，适合同时做大量相似的小任务。
大模型里的矩阵运算，正好是这种任务。每个位置都在做类似的乘法和加法，彼此可以拆开并行处理。
让 GPU 来做，就能把大任务切成很多小块，同时推进。
所以，大模型并不是绝对不能在 CPU 上跑，而是大型模型的训练和高性能推理，通常更适合交给 GPU、TPU、NPU 或其他 AI 加速芯片。
其中，GPU 因为性能强、生态成熟，成了今天最常见的选择。
GPU的优势是一起干活
GPU 并行工作的方式，可以用一句话理解就是，同一道命令很多人同时执行，但每个人处理的数据不同。
比如，厂长喊 "做乘法"。所有工人都做乘法，但每个人手里的数字不一样。有人算 3×5，有人算 7×2，有人算 4×9。动作一样，数据不同。
这非常适合矩阵计算。矩阵里有很多位置，每个位置都需要做类似计算。
GPU 可以把这些位置分给大量线程，让它们同时开工。这样，总时间就大大缩短。
这也是为什么大模型需要并行计算。不是因为每个计算都很难，而是因为计算数量太多。数量一多，谁能同时干活，谁就有优势。
大模型需要大量矩阵乘法，而现代 AI GPU 里有专门为矩阵乘法加速的硬件。
在英伟达 GPU 里，这类单元叫 Tensor Core。
这也就是为什么同样是算乘法，不同芯片之间速度会差很多的原因。
算得快还不够，数据也要送得快
不过，只有算力还不够。如果把计算单元看作工人，参数和中间结果就是原材料。
工人再多，如果原材料送不到手边，那也只能空等。
大模型推理时，要不断读取参数、读取上下文缓存、写入新的中间结果等。
数据在芯片里来回搬运，速度非常关键。
GPU 上有一种很重要的内存，叫 HBM，也就是高带宽内存。
这就像是一个又大又宽的仓库，它不仅容量大，更重要的是通道宽，一次能把大量数据送到计算单元附近。
但大模型太能吃数据了。哪怕 HBM 已经很快，很多时候仍然不够。
这也是理解大模型推理速度的关键，不只是算力问题，也经常是数据搬运问题。
所以大模型跑得快，不只是因为芯片会算，还因为工程师会想尽办法让数据少走路、早到位。
一次推理为什么分成两个阶段
你有没有考虑过一个问题：为什么总是第一个字出现得最慢，然后开始一个字一个字输出？
这是因为一次推理大致可以分成两个阶段。
第一个阶段叫 Prefill，可以理解成"读题"。
第二个阶段叫 Decode，可以理解成"作答"。
这两个阶段的工作方式不一样，速度感也不一样。
Prefill 像是一口气读完整道题
当你输入 "中国首都是" 时，模型不会马上吐出答案。它要先把你输入的内容全部读进去。
如果你输入的是一句话，这一步很快。如果你输入的是一篇长文、一段代码、一整份报告，这一步就会明显变重。
在 Prefill 阶段，模型会处理你输入的全部 Token，让它们互相建立上下文关系。
注意力机制会在这里发挥作用。
每个 Token 都要知道自己和其他 Token 的关系，模型才能形成对整段输入的语境理解。
这个阶段很适合 GPU 并行计算。
因为你输入的一大批 Token 可以一起处理，里面有大量矩阵乘法，Tensor Core 也能忙起来。
这就是为什么输入越长，等待第一个字的时间往往越久。模型不是在发呆，而是在读题。
Decode 像是一个字一个字写答案
Prefill 完成后，模型开始生成回答。这时进入 Decode 阶段。
Decode 的特点是，每次只生成一个新 Token。先生成第一个，再生成第二个，再生成第三个。
它不能把整段回答一次性全部生成出来，因为后面的内容依赖前面已经生成的内容。
这就像写句子。你写下 "北京"，后面要不要接 "是中国的首都"，取决于前面已经写了什么。
大模型也是这样，前一步生成的 Token，会成为下一步预测的上下文。
这就是为什么我们看到的是一个字一个字往外冒，而不是整篇答案瞬间出现。
KV Cache 让模型不用每次从头读一遍
这里有一个关键优化，叫 KV Cache。你可以把它理解成模型的草稿纸。
在 Prefill 阶段，模型处理输入时，会算出很多中间结果。
后面 Decode 时，每生成一个新 Token，都需要回看前面的上下文。
如果每一步都把所有历史内容从头算一遍，代价太高。
于是，模型会把已经算过的一部分中间结果保存下来。下一步生成时，直接拿来用。
这些保存下来的中间结果，就是 KV Cache，主要是为了用空间换时间，让模型避免大量重复计算。
但它也带来另一个问题 ：历史越长，缓存越大。每生成一个新 Token，模型都要读取越来越大的历史缓存。
对话越长，缓存数据越大，数据搬运压力越大。
这就是为什么长上下文会占用更多显存，也为什么长对话可能让速度变慢。
不是模型不想记住，而是记住需要空间，回看需要带宽。
为什么第一个字慢，后面的字有节奏
你按下回车后，第一个字迟迟不出现，通常是因为模型正在 Prefill。它要先读完你的输入，把上下文处理好。
第一个字出现后，后面开始一个字一个字往外冒，这是 Decode。每一步都要读取历史缓存，计算下一个 Token，再输出。
Decode 阶段的计算量不一定最大，但它很依赖数据搬运。
尤其是上下文很长时，每一步都要从显存里取出大量历史信息。此时，瓶颈可能不是算不过来，而是搬数据太忙。
所以，大模型的输出节奏就是先停顿读题，然后逐步作答。
对话越长，历史越多，每一步背后的搬运负担也越大。
上下文窗口为什么有限
到这里，你差不多也可以理解为什么所有大模型发布的时候，都强调自己的模型能够处理的上下文上限了。
很多人会觉得，大模型这么强，为什么不能记住无限长的对话？
原因之一就在 KV Cache。每多一个历史 Token，模型就要保存更多中间结果。
上下文越长，占用的显存越多。生成新 Token 时，要读取的历史缓存也越多。
所以，上下文窗口不是一个随便设置的限制。它和模型结构、显存容量、内存带宽、推理成本都有关系。
当然，工程上有很多办法缓解这个问题，比如压缩历史、分块处理、检索外部资料、优化注意力计算等。
但从基本原理看，长上下文一定更贵。它需要更多存储，也需要更多搬运。
这就是为什么让模型记住更多内容不是简单地把数字调大。
总结
现在再看你按下回车后的那几秒钟，就不会觉得它只是一个简单的等待过程了。
屏幕上只是一个光标在闪，机器内部却已经分成几条线同时运转。
文字被拆开，变成 Token；Token 变成数字，带着位置信息进入模型。
注意力机制让它们彼此参照，
参数矩阵把这些上下文信息转成下一步的分数。
与此同时，GPU 在并行计算，显存在搬运数据，缓存里保存着前面已经算过的上下文。
当这个过程足够快，接出来的内容足够连贯，我们就看见了一次像对话一样的回答。
理解完这一圈，我们可以回到文章开头那个问题：大模型真的会思考吗？
从外部表现看，它确实能完成很多看似需要思考的任务。它能总结文章，解释代码，改写句子，翻译语言，分析方案，甚至给出推理步骤。
但如果把思考理解成人类大脑里的主观体验，那大模型并没有这样的体验。它没有意识，也没有自己的目的。
这并不矛盾。大模型的能力，来自训练中形成的语言规律，也来自巨大参数空间里的复杂组合。
它不是简单地背答案，也不是单纯地查数据库。它会根据上下文动态生成内容。
当问题足够常见，语言规律足够稳定，它的回答就会显得很可靠。
当问题需要最新信息、严格事实、精确计算，或者涉及复杂现实判断，它就可能出错。
当提示写得清楚，背景给得充分，它往往表现更好。
当问题模糊、上下文不足，它就容易用看似合理的话填补空白。
所以，与其问"大模型是不是真的会思考"，不如换一个更实用的问题：
它生成这段话的依据是什么？这些依据可靠吗？我是否需要验证？
这也是普通人使用大模型时最重要的判断力。