从零理解大语言模型：AI、LLM、训练成本与手机助手的底层逻辑

Build a Large Language Model (From Scratch) 中文版

最近我在读 Sebastian Raschka 的《从零构建大模型》（Build a Large Language Model From Scratch）第一章，结合自己实际产生的疑问，把核心概念重新梳理了一遍。

一、LLM 到底是什么？

大语言模型（Large Language Model，简称 LLM ）是一种深度神经网络，核心能力是理解和生成人类语言。

它的"大"体现在两个地方：

参数量巨大（从几亿到数千亿甚至更多）
训练用的数据量极其庞大（动辄几千亿到数万亿 token）

训练的基本目标非常简单：预测下一个词。正是这个看似简单的任务，让模型在海量文本中学到了语法、语义、常识甚至一定的推理能力。

LLM 属于生成式 AI（ Generative AI ），因为它不仅能理解，还能主动生成新的文本。

二、AI、机器学习、深度学习、LLM 的关系

很多人把"AI"和"LLM"混为一谈，其实它们是包含关系：

复制代码

人工智能（AI）
└── 机器学习（Machine Learning）
    └── 深度学习（Deep Learning）
        └── 大语言模型（LLM） / 生成式 AI

AI 是最宽泛的概念，指让机器具备类似人类智能的技术。
机器学习 是 AI 的核心分支，让机器从数据中自动学习规律。
深度学习 是机器学习里使用多层神经网络的方法。
LLM 是深度学习在语言领域最成功的应用之一。

所以，LLM 只是 AI 的一个重要分支，而不是全部。AI 还有计算机视觉、强化学习、传统专家系统等其他方向。

另外，自然语言处理 （ NLP ）是 AI 里专门研究"让机器理解和处理人类语言"的领域。现在的 LLM 已经成为 NLP 最强大的主流技术。

三、现在的 LLM 为什么还能看图、理解视频？

传统上，处理图像和视频属于计算机视觉这个独立分支。

但现在的前沿模型（GPT-4o、Claude、Gemini、Qwen-VL 等）已经把视觉能力融合进来了，变成了多模态 大模型。

做法通常是：

用视觉编码器把图片/视频变成"视觉 token"
再和文字 token 一起送进同一个大语言模型进行处理

所以，现在能看图的"LLM"，本质上是以 LLM 为核心架构的多模态模型，而不是简单地把两个完全独立的系统拼在一起。

四、构建和训练一个 LLM 的三个阶段

书中把整个过程清晰地分成三个阶段：

构建模型架构 + 数据准备

实现 Transformer、注意力机制、分词、词嵌入等。

预训练（Pretraining）

在大规模无标注文本上做"预测下一个词"的训练，得到基础模型（Foundation Model）。

微调（Fine-tuning）
1. 分类微调（比如垃圾邮件识别）
2. 指令微调（让模型学会遵循人类指令，变得像 ChatGPT 一样好用）

预训练决定了模型的"知识量和基础能力"，微调则让它更符合具体使用场景。

五、为什么训练大模型这么贵？GPU 是什么？

书中提到 GPT-3 的预训练费用估计约为 460 万美元 ，这笔钱主要花在算力上，而不是数据本身。

GPU （ Graphics Processing Unit ， 图形处理器 ）原本是为游戏和图形渲染设计的，擅长同时进行大量简单的并行计算。训练大模型需要进行海量的矩阵运算，这正好是 GPU 的强项。相比之下，CPU 更擅长复杂的逻辑控制，但并行能力远不如 GPU。

训练费用高的核心原因是：

需要成千上万块高端 GPU 同时工作
连续跑数周甚至数月
电费、散热、高速网络等配套成本也很高

这些 GPU 可以自己购买，很多大公司（OpenAI、Google、Meta、字节等）都自建了大规模集群。但自建门槛极高：不仅要买卡，还要有机房、电力、制冷、高速互联和专业运维团队。对大多数团队来说，租用云服务更灵活。

简单类比：

云服务 = 租车（按需使用，灵活）
自己买 GPU = 买车养车（长期可能更划算，但前期投入大、麻烦）

六、手机上的 Siri、小助手是本地大模型吗？

目前主流手机 AI 助手（Apple Siri / Apple Intelligence、Google Gemini、三星 Galaxy AI）都不是完全本地运行的完整 大模型 ，而是混合架构：

简单任务、个人隐私相关内容 → 尽量在手机本地用小模型处理
复杂推理和知识问答 → 请求发到云端更大的模型

其中 Apple 在隐私上做得最激进：优先本地处理，必须上云时走自己的 Private Cloud Compute，并强调数据不存储、不可被查看。其他厂商也有本地小模型（如 Gemini Nano），但整体仍更依赖云端。

真正的完整大模型目前仍然无法完全塞进手机里稳定运行。

写在最后

第一章最大的价值，是帮我们建立了正确的全局视角：

LLM 不是魔法，它是深度学习在语言任务上的集大成者
它的强大来自"规模"（数据 + 算力 + 参数）
训练的本质瓶颈是算力，而不是"有没有数据"
当前最强的模型正在从纯语言走向多模态
手机上的 AI 助手是工程与隐私的折中产物，而不是完整的本地大模型

理解了这些，再往后看"注意力机制""GPT 架构实现""预训练与微调"等内容，就会清晰很多。

近日总结：

最近这段时间想得比较多，也慢慢想通了一些事。

AI 发展得太快，互联网行业其实正在明显收缩，去初级化、优化这些词变得越来越常见。

这很正常。

这不是某一家公司的问题，而是整个行业都在重新适应新的效率标准。

而且被冲击的也远不止 IT，传统行业、内容行业、教育、甚至一些服务行业，都在经历类似的调整。

经济效益、业务收缩、组织变阵，本来就是商业世界的常态。

被裁员这件事，放在当下其实真的很正常。

没有那么多"被针对"或者"个人失败"的戏剧性，更多只是大环境变化下的结果。

其实在经历过之后反而会清楚一点：有过好几段工作经历太正常了，离职也是再正常不过的事情。

甚至空窗期的长短，也没有外界渲染得那么严重。

真正重要的，还是自己这段时间有没有沉淀、有没有想清楚下一步要什么。

也是因为这次经历，我也才更真切地意识到：

一直待在同一个圈子里，视野很容易被锁死。

换一个环境之后，会看到之前根本接触不到的做事方式、决策逻辑、甚至人性的另一面。

这些东西，待在原有的舒适区里是学不到的。

从一家公司到另一家公司，表面是换工作，底层其实是换一个观察世界的角度。

当然，过程不会舒服。

不确定感、自我怀疑、对未来的焦虑都会有。

但这些情绪本身也正常，不必急着把自己打造成"毫无波动的强者"。

接受它，然后继续往前走，反而更真实。

其实也就几句很普通的话：

行业在变，被影响很正常。

换工作、有空窗期，都很正常。

重要的不是别人怎么看这段经历，而是自己有没有从中多看见一点东西。

圈子会限制认知，走出去才能打破它。

目前就这些。

继续往前走就好。