1. 理解GPU、TPU、NPU和CPU
CPU （Central Processing Unit，中央处理器）专为通用计算设计，擅长复杂任务的串行处理，是所有计算机的大脑。如果没有CPU，计算机无法工作。
传统GPU：
GPU（Graphics Processing Unit，图形处理器）是专用于数字图像处理的电路，我们通常所说的显卡就是GPU ，最初设计用于加速图形渲染任务（如3D游戏、视频处理）。
GPU拥有大量功能单一的计算单元（如FP64（专门处理双精度浮点数运算）、FP32、FP16等），适合大量简单任务并行处理。
现代GPU：
现代GPU为了迎合机器学习训练和推理的需求，在传统GPU的基础上增加了专用的矩阵计算单元，在英伟达显卡中被称为Tensor Core，大幅提升了神经网络计算效率。
目前顶尖的大模型多数都是在英伟达的GPU上训练的。
NPU：
NPU（Neural Processing Unit，神经网络处理器），亦称AI加速器或深度学习处理器。是一类专门为加速神经网络计算而设计的芯片，牺牲通用性换取在机器学习任务上的超高性能和低功耗。
NPU砍掉了FP64等单一运算单元，通常只保留矩阵运算单元，并引入向量处理单元和标量处理单元。
TPU：
TPU（Tensor Processing Unit，张量处理器）是谷歌为神经网络机器学习专门开发的专用芯片，适用于谷歌自家的TensorFlow框架。2015年开始内部使用，2018年向第三方开放。
发布后处于第一梯队的Gemini-3系列模型就是在谷歌的TPU上训练的。
2. Token基础
1B token = 10亿，1T token = 1万亿token
token是计算机理解人类语言的基础单位。大模型在开训前，需要先训练一个tokenizer模型。它能把所有的文本，切成token。
- 1个英文字符≈0.3个token
- 1个中文字符≈0.6个token
3. 大模型分类
大模型可以根据不同的分类标准进行划分，以下是常见的分类方式：
| 分类标准 | 类别 | 示例 |
|---|---|---|
| 按照模态分类 | 大语言模型 | Qwen3 / DeepSeek-V3 / GPT-5语言模块 |
| 按照模态分类 | 多模态理解模型 | Qwen3-VL / GPT-5 / Gemini-3 |
| 按照模态分类 | 多模态生成模型 | Stable Diffusion / DALL·E / Nano-Banana |
| 按照功能分类 | 生成式大模型 | GPT-5 / DeepSeek-V3 / Qwen3 |
| 按照功能分类 | 嵌入模型 | BGE / E5 / GTE |
| 按照功能分类 | 重排序模型 | BGE-Reranker / ms-marco-MiniLM |
| 按照功能分类 | 分类模型 | 通常是经过微调的小尺寸模型 |
注：以上分类仅为示例，实际应用中模型可能同时具备多种特性。
4 大模型四要素
大模型由四个要素构成：模型权重（参数）、推理代码、训练代码、训练数据集。
5. 大模型训练范式
现代大语言模型（LLM）的训练已形成稳定范式：预训练（Pre-Training）+ 后训练（Post-Training）
其中后训练通常包括：监督微调（SFT） + 对齐优化（RLHF / RLAIF）
| 阶段 | 核心目标 | 解决问题 |
|---|---|---|
| 预训练 | 学会语言和知识（打基础） | "模型能不能说话" |
| SFT | 学会按指令回答（按标准做事） | "模型听不听话" |
| RLHF / RLAIF | 学会人类偏好（按偏好做事） | "回答好不好、对不对、安不安全" |
6. 工程落地的5大模块
从工程实现角度看，大模型的应用主要可以分为提示词工程、RAG、微调、续训、智能体开发五个模块。
（1）提示词工程
这是最廉价的方式，开箱即用，直接调用模型。可以通过提示词优化和提供示例的方式优化输出效果。
（2）RAG
当提示词工程不能达到预期效果时，如果缺少参考知识，可以尝试RAG，调用外部知识库。token消耗往往比开箱即用略高，但开发略微复杂。
（3）微调
如果提示词工程效果不好，且原因是指令遵循能力较差、风格/话术不一致等，可以尝试微调，需要收集数据，并且要有硬件资源。
（4）续训
如果微调效果仍不理想，且问题来自模型对领域语言/知识分布的系统性缺失，可以考虑收集更多数据进行续训（预训练），但前提是有充足的硬件资源。续训的硬件开销通常远高于微调。
（5）智能体开发
当其它方式无法解决问题时，都可以尝试和智能体开发相结合，智能体会涉及大模型的多次调用，token开销较大，开发难度较高。但从经济成本角度讲，智能体开发单次开销不及微调和续训，但长期成本可能更高。
7. AIGC 和 AGI
AIGC的定义
AIGC（人工智能生成内容，Artificial Intelligence Generated Content）是指以大规模预训练模型（尤其是生成式基础模型）为核心，通过学习海量数据中的统计规律和语义结构，在人类输入提示或条件约束下，自动生成文本、图像、音频、视频、代码等多模态内容的技术与应用体系。
简而言之，AIGC就是用AI生成内容。
AGI的定义
AGI（Artificial General Intelligence，通用人工智能）是指一种具备跨领域、跨任务的通用认知能力的人工智能形态，能够在不同环境和目标下进行理解、学习、推理、规划与知识迁移，并在缺乏明确任务定义或规则约束的情况下，自主发现问题并制定解决策略，其整体智能水平接近或超越人类。
简而言之，AGI是通用人工智能，可以自主学习并解决大多数人类可以解决的问题。
目前，AGI尚未实现。主流研究普遍认为，通向AGI的路径主要包括两个方向：
- 提升
基础模型的通用能力。 - 通过
Agent设计对模型能力进行组织与调度，使模型具备目标分解、长期规划、工具使用与环境交互等能力，从而在复杂任务中表现出更接近通用智能的行为。
8. 提示词要素
提示词可以包含六个要素：角色、任务、背景/上下文、输入数据、输出格式、质量与约束。此外，还可以提供输入输出示例。
9. 大模型工程实现落地
总结：
- 想让模型"更懂你这个行业" → 续训
- 想让模型"更听你指挥" → 微调
- 想让模型"答得准" → RAG
- 想让模型"又准又稳" → 续训 + 微调 + RAG
重点：顺序不能反：先微调再续训 = 微调成果被冲掉