一、深度学习与大模型的关系
1.1、基本关系
自从2022年，ChatGPT横空出世后，LLM的使用，变得普及化。就像电灯的发明，让电走进千万家一样。
而ChatGPT这类LLM，底层就是使用的深度学习DeepLearning来训练获取到的。
1.2、AI学习分类回顾
- AI的学习分为：
- 机器学习 Machine Learning：
- 按 学习信号/反馈方式 分为：
- Supervised Learning 有监督学习
- Unsupervised Learning 无监督学习
- Reinforcement Learning 强化学习
- Half-Supervised Learning 半监督学习
- Self-Supervised Learning 自监督学习
- Transfer Learning 迁移学习
- 把在源任务上学到的知识（参数、特征、结构等），迁移到相关但不同的目标任务上，从而让新任务用更少的数据、更少的算力就能学好。
- 按 模型结构/表示学习方式 分：
- Deep Learning 深度学习，多层神经网络。可以简单形成一个直觉：使用神经网络的，都算深度学习。
- Deep Supervised Learning 深度有监督学习
- Deep Unsupervised Learning 深度无监督学习
- Deep Reinforcement Learning 深度强化学习
- Deep Half-Supervised Learning 深度半监督学习
- Deep Self-Supervised Learning 深度自监督学习
- Deep Transfer Learning 深度迁移学习
- Deep Learning 深度学习，多层神经网络。可以简单形成一个直觉：使用神经网络的，都算深度学习。
- 按 学习信号/反馈方式 分为：
- 机器学习 Machine Learning：
1.3、LLM的训练过程：
大量数据，使用RL进行训练，得到一个base model，然后再使用SFT 或 RLHF/RLVF/RLAIF 等，获取到一个可以与人正常沟通的、具备正确价值观的、符合3H的大模型
1.4、本次实验目标：
- 理解AI学习的技术路线、基础原理，对LLM进行技术驱魅，最终在企业的日常交付中，有针对性的选择使用符合业务场景诉求的大模型，进行项目交付
- 由于LLM的深度学习，其实是机器学习的子类，也就是深度学习其实是站在机器学习的肩膀上，演进出来的。
- 所以本次，我会先进行机器学习的实验，通过这些简单的机器学习的实验，可以很快速的认识一些通用名词及基本原理。
- 最后我们再进行一个大名鼎鼎的Transformer的实验，开启LLM的认知大门
二、机器学习实验
2.1、机器学习的系统学习视频
推荐吴恩达的机器学习系统课程，非常适合扫描入门使用
https://www.bilibili.com/video/BV16jyuBBEom/
2.2、机器学习中解决的任务类型
-
监督学习
- 回归：房价预测、销量预测
- 分类：垃圾邮件识别、图像分类、疾病诊断
- 排序、检测、分割、序列标注等
-
无监督学习
- 聚类：用户分群
- 降维：PCA、t-SNE
- 异常检测、关联规则、密度估计
-
自监督学习
- 大模型预训练中的"预测下一个 token"
- 对比学习
-
强化学习
- 游戏、机器人控制、策略优化
- RLHF、RLVR 等大模型对齐方法
-
生成式学习
- 图像生成、文本生成、音频生成
-
集成学习与深度学习
- 随机森林、XGBoost、SVM、神经网络、Transformer 等
2.3、学习方式说明
- 先使用编程Agent生成实验代码
- 再手敲，深入理解吸收
2.4监督学习-->线性回归实验
2.4.1、使用编程Agent，生成线性回归实验代码
提示词 ：请生成一个机器学习的线性回归的实验代码，供入门开发者学习。python + 演示线性回归的中间过程的界面。真实关系为：y = 2·x² + 3·x + 4 + 噪声，样本数量3200，batch值为32，终止条件为：250step 或 full_loss小于1e-6
由于我写这篇文章的时候，华为的CodeArts正在推广阶段，内置大模型，例如：GLM5.2是免费试用的。因此这里就选用该编码Agent进行使用
2.4.2、代码
https://blog.csdn.net/ITMom/article/details/169164912?spm=1011.2415.3001.5331
2.4.3、训练效果
可以看到，和目标函数对比，拟合的刚刚好。可以说：The model is well-fitted
2.4.4、实验后需要理解领悟的点
通过这个实验，可以帮助入门者理解：机器学习的训练闭环步骤，这个基础一定要理解。
text
输入 x
→ 前向传播 → 预测值 ŷ
→ 损失函数 L(ŷ, y)
→ 反向传播 → 梯度 ∇L
→ 优化器更新参数
→ 重复迭代三、深度学习的入门模型训练实验
3.1、深度学习基础理论知识回顾
- 深度学习定义：使用多层神经网络自动学习层次化表示
- 其实说穿了，深度学习与传统的机器学习的差别在于，深度学习通过多层神经网络的线性层+激活函数，来达到一般的函数无法达到的复杂程度，用于拟合更复杂的问题
- 也就是说，深度学习
- 传统机器学习，有一个明确的函数公式，然后就使用这个函数公式，不断地调整系数及bias的值，达到拟合特定场景问题的效果
- 而深度学习，就只有一个 W*X+B，真正的复杂度是由多层神经网络的激活函数的变幻来达成的，这样学习出来的大模型，可以拟合任意场景的问题，这也是LLM跨领域的能力爆发的根因
- 足够大的参数量、足够深的神经网络、足够多的训练数据、高性能的gpu，这些堆在一起，造就了通用的LLM
3.2、深度学习的最简模型训练实验
- 我们实现一个简易的单层神经网络的小模型，构造3200个样本数据，每个样本5个特征，也就是5维向量，训练二分类的模型
- 该模型本身没有业务价值，但是通过最简单的模型，让大家直视模型训练的本质，从而对大模型训练进行驱魅
- 真正的大模型训练的难处在于：
- 1、大量的训练数据
- 哪个大厂能够吸引足够多的数据，哪个大厂就有了训练大模型的首个入门条件。
- 哪个领域在网络上发布的数据够多，且该领域是有明确的可验证标准的，那么这个大模型在该领域就会表现优异。
- 2、大量数据训练所需的算力资源
- 这个算力资源，不是一般的企业承受的起的。
- 真正的大模型训练，可以看下最新的deepseek-v4.1-flash，
- 3、训练好的模型，开放API，给用户使用的工程能力及推理所需的算力及电力资源
- 1、大量的训练数据
- 这些堆叠在一起，就导致没有一定资产的用户根本无法去做这个事情。
- 不像互联网早期，只要你有思路，你想写个开源框架，都是ok的
- 但是现在的AI时代，大模型的训练，必然只有大厂才能玩的起，IT牛人运气好点的，进去安心做好长工，就好了
- 真正的大模型训练的难处在于：
- 实验代码：
https://editor.csdn.net/md/?articleId=169459536
四、深度学习的轻量级文本分类模型训练实验
4.1、轻量级文本分类模型训练与当前大模型训练的对比
轻量级文本分类模型，在工业生产中，依然存在价值。对于 标签固定、高并发、低时延、资源受限、安全敏感的业务领域，依然需要轻量型大模型进行应用。
随着大模型的发展，可以使用大模型去训练轻量级的小模型、或者采用混合架构，根据用户请求，分发到不同的模型中。
其实这个非常广泛，就连大模型厂家自己也会推出大模型、Flash的小模型，在很多的编码Agent中，都会将复杂的主线任务交给大模型、将执行的小任务交给Flash的小模型，进而降低成本。
技术是不断发展的，我们在做企业项目的时候，一定是辩证的看待技术选型，不要为了赶潮流而使用新技术。这就像微服务流行的年代，也不是所有的服务都有必要改为微服务架构。
4.2、RNN文本分类流水线介绍
1. Embedding：把"字/词"变成"数学向量"
计算机不认识文字，只认识数字。
- 动作：把输入句子（比如"这部电影太好看了"）里的每个词，查表变成一个稠密的实数向量。
- 意义 ：在这个向量空间里，语义相近的词（如"好看"和"精彩"）距离会比较近。此时，句子从
(B, L)的单词ID序列，变成了(B, L, D)的向量矩阵（L 是句子长度，D 是向量维度）。
2. RNN：让词与词产生"上下文联系"
光有每个词的向量还不够，因为同一个词在不同语境下意思完全不同（比如"苹果"是水果还是手机）。
- 动作：RNN（循环神经网络，通常是双向 LSTM/GRU）按顺序读取这些词向量。读每一个词时，它都会结合前面（和后面）读过的词的信息，更新自己的隐藏状态。
- 意义 ：输出变成了
(B, L, H)。此时，每一个位置的向量，不再只代表单个词，而是包含了整句话上下文的特征。
3. GlobalMaxPool：提取整句话"最强烈的特征"
分类任务通常只需要一个代表整个句子的向量，但句子有长有短（L 是变化的），怎么处理？
- 动作：沿着序列长度 L 的维度，对每一个特征维度（H 维）取最大值。
- 意义 ：这一步将变长的
(B, L, H)压缩成了定长的(B, H)。为什么用 Max 而不是 Average？ 因为对于分类（比如情感分析），只要句子里出现了强烈的负面词（如"极差"、"恶心"），整句话的情感大概率就是负面的。Max 池化能敏锐地捕捉到这些"最强烈"的局部特征（最强信号），而平均池化（Average）可能会把这个强烈信号稀释掉。经过这一步，我们得到了一个代表整句话的句向量（Sentence Vector）。
4. LayerNorm + Dropout：让特征更稳定、更抗造
在送入最终的分类器前，需要对提取出的句向量进行加工。
- LayerNorm：把句向量的数值分布拉回标准正态分布（均值 0，方差 1），让后续的线性层计算更稳定，不容易梯度爆炸或消失。
- Dropout ：在训练时随机"掐断"一部分神经元，强迫网络不要过度依赖某几个特定特征，从而防止过拟合，提高模型的泛化能力。
5. Linear + Softmax：给出最终的"判决"
现在，我们有了一个经过清洗、浓缩的定长句向量 (B, H)，接下来就是做选择题。
- Linear（线性层） ：把这 H 维的特征，通过矩阵乘法投影到类别空间 C 上。比如做情感二分类（好评/差评），C 就是 2。输出变成了
(B, 2)，这两个数字叫做 logits （比如[2.5, -1.2]）。 - Softmax ：把 logits 转化为概率。通过指数运算和归一化，
[2.5, -1.2]变成了类似[0.97, 0.03]的概率分布。这说明模型有 97% 的把握认为这句话是好评。
6. Adam 优化器：自适应调整步伐的"智能导航"
前面的步骤定义了我们如何计算损失（Loss），而优化器负责决定"如何根据误差去修改参数"。Adam（Adaptive Moment Estimation）是目前深度学习中最流行、最常用的优化算法。
- 动作 ：Adam 在更新参数时，结合了一阶动量（Momentum）和二阶动量（RMSProp）。它不仅计算梯度历史的指数加权平均（决定更新的"方向"），还计算梯度平方的指数加权平均（动态调整每个参数的"步长"）。
- 意义 ：
- 自适应学习率：它能为每个参数自动分配不同的学习率。对于频繁更新的参数（如常用词的 Embedding），它会减小步长；对于稀疏更新的参数（如生僻词），它会给出较大的步长。
- 加速收敛与抗震：动量机制让它在平坦区域像滚雪球一样加速，在梯度震荡时起到平滑作用，从而更快地跳出局部极小值或鞍点。（同向加速、反向减速）
- 开箱即用 ：它对超参数非常鲁棒，通常使用默认参数（如学习率
1e-3，betas=(0.9, 0.999)）就能在绝大多数任务上跑出不错的效果，极大降低了调参门槛。
4.3、RNN流水线模型训练实验
训练使用数据，可以从 https://tatoeba.org 上下载；也可以给我留言
https://blog.csdn.net/ITMom/article/details/169555195?spm=1011.2415.3001.5331
五、机器学习关键名词表
5.1、基础概念与训练过程
| 名词 | 英文 | 一句话解释 |
|---|---|---|
| 机器学习 | Machine Learning, ML | 让算法从数据中自动学习规律，并用于预测、分类、决策或生成。 |
| 模型 | Model | 从输入到输出的参数化函数，例如 (y=f_\theta(x))。 |
| 参数 | Parameters | 模型训练中自动学到的数值，如神经网络权重和偏置。 |
| 超参数 | Hyperparameters | 训练前人为设定的配置，如学习率、批大小、层数。 |
| 特征 | Feature | 描述样本的输入变量，如年龄、像素、词向量。 |
| 标签 | Label | 监督学习中的目标答案，如类别、数值。 |
| 损失函数 | Loss Function | 衡量模型预测值与真实值差距的函数，训练目标是最小化它。 |
| 梯度 | Gradient | 损失函数对参数的偏导数向量，指示参数更新方向。 |
| 真实值 | Ground Truth / True Value | 数据中给定的正确答案或目标值，监督学习中通常记为 (y)。 |
| 预测值 | Prediction / Predicted Value | 模型根据输入计算出的输出，通常记为 (\hat{y})。 |
| 前向传播 | Forward Propagation | 输入数据沿网络从前往后计算，得到预测值和损失的过程。 |
| 反向传播 | Backpropagation / Backward Propagation | 从损失出发，利用链式法则从后往前计算各参数梯度的过程。 |
| 梯度下降 | Gradient Descent | 沿损失函数梯度反方向迭代更新参数的优化方法。 |
| 优化器 | Optimizer | 根据梯度更新参数的算法，如 SGD、Adam、AdamW。 |
| 泛化 | Generalization | 模型在未见数据上的表现能力。 |
| 过拟合 | Overfitting | 模型过度记住训练数据，训练集表现好但泛化差。 |
| 欠拟合 | Underfitting | 模型能力不足，训练集和测试集表现都差。 |
| 正则化 | Regularization | 抑制过拟合的技术，如 L1/L2、Dropout、早停。 |
5.2、学习范式
| 名词 | 英文 | 一句话解释 |
|---|---|---|
| 监督学习 | Supervised Learning | 使用带标签数据 ((x,y)) 学习输入到输出的映射。 |
| 无监督学习 | Unsupervised Learning | 使用无标签数据发现结构、聚类、降维或异常。 |
| 自监督学习 | Self-Supervised Learning | 从数据自身构造监督信号，无需人工标注。 |
| 半监督学习 | Semi-Supervised Learning | 同时利用少量标注数据和大量未标注数据学习。 |
| 强化学习 | Reinforcement Learning, RL | 智能体通过与环境交互、根据奖励试错学习策略。 |
| 深度学习 | Deep Learning, DL | 使用多层神经网络自动学习层次化表示。 |
| 生成式学习 | Generative Learning | 建模数据分布 (p(x)) 或条件分布 (p(x|c))，能生成新样本。 |
| 判别式学习 | Discriminative Learning | 直接学习决策边界或条件概率 (p(y|x))。 |
5.3、任务类型
| 名词 | 英文 | 一句话解释 |
|---|---|---|
| 回归 | Regression | 预测连续值，如房价、温度。 |
| 分类 | Classification | 预测离散类别，如垃圾邮件识别。 |
| 聚类 | Clustering | 无标签下把相似样本分组。 |
| 降维 | Dimensionality Reduction | 在保留主要信息的前提下减少特征维度，如 PCA、t-SNE。 |
| 异常检测 | Anomaly Detection | 识别偏离正常分布的样本。 |
5.4、评估与数据划分
| 名词 | 英文 | 一句话解释 |
|---|---|---|
| 训练集 | Training Set | 用于更新模型参数的数据。 |
| 验证集 | Validation Set | 用于调超参数和选择模型的数据。 |
| 测试集 | Test Set | 用于最终评估泛化能力的数据。 |
| 交叉验证 | Cross-Validation | 轮流划分训练/验证集，更稳定地评估模型。 |
| 准确率 | Accuracy | 分类任务中预测正确的比例。 |
| 精确率 | Precision | 预测为正的样本中真正为正的比例。 |
| 召回率 | Recall | 真实正样本中被正确找出的比例。 |
| F1 值 | F1 Score | 精确率与召回率的调和平均。 |
5.5、大模型与后训练
| 名词 | 英文 | 一句话解释 |
|---|---|---|
| 预训练 | Pre-training | 在海量无标注数据上通过自监督目标训练基座模型。 |
| 微调 | Fine-tuning | 在预训练模型基础上用特定数据继续训练。 |
| 监督微调 | Supervised Fine-Tuning, SFT | 用"指令---期望回答"数据教模型遵循指令。 |
| 对齐 | Alignment | 让模型输出符合人类意图、价值观和安全规范。 |
| RLHF | Reinforcement Learning from Human Feedback | 用人类偏好训练奖励模型，再强化学习优化策略。 |
| RLAIF | Reinforcement Learning from AI Feedback | 用 AI 评判者替代人类提供偏好反馈。 |
| RLVR | Reinforcement Learning with Verifiable Rewards | 用可自动验证的结果作奖励，如数学答案、代码测试。 |
| 奖励模型 | Reward Model | 学习并预测人类或 AI 偏好分数的模型。 |
| 策略 | Policy | 强化学习中给定状态选择动作的规则或概率分布。 |
| 价值函数 | Value Function | 评估某状态或状态---动作对的长期回报。 |
| Actor-Critic | Actor-Critic | 策略网络负责动作，价值网络负责评估的强化学习框架。 |
| On-Policy | On-Policy | 用当前策略采集的数据更新当前策略。 |
| Off-Policy | Off-Policy | 可用旧策略或其他策略产生的数据学习目标策略。 |
| Model-Based RL | Model-Based RL | 学习或利用环境模型进行规划。 |
| Model-Free RL | Model-Free RL | 不显式建模环境，直接通过试错学习策略或价值。 |
5.6、模型结构与表示
| 名词 | 英文 | 一句话解释 |
|---|---|---|
| Transformer | Transformer | 以自注意力为核心的神经网络架构，是大模型的基础。 |
| 注意力机制 | Attention Mechanism | 让模型动态关注输入中不同位置的信息。 |
| Token | Token | 文本被切分后的基本处理单元，如词、子词或字符。 |
| 词嵌入 | Embedding | 将离散 token 映射为连续向量的表示。 |
| MoE | Mixture of Experts | 混合专家架构，每个 token 只激活部分专家，降低推理成本。 |
| Scaling Laws | Scaling Laws | 描述模型规模、数据量、算力与损失之间经验关系的规律。 |
| 幻觉 | Hallucination | 模型生成看似合理但事实错误或缺乏依据的内容。 |
| Agent | Agent | 能调用工具、规划步骤、根据环境反馈自主执行任务的模型系统。 |
附：最简训练闭环
text
输入 x
→ 前向传播 → 预测值 ŷ
→ 损失函数 L(ŷ, y)
→ 反向传播 → 梯度 ∇L
→ 优化器更新参数
→ 重复迭代