概念层级梳理(由大到小,清晰从属关系)
- 机器学习(Machine Learning, ML)
最大范畴
定义:让计算机不用人工编写全部规则,从数据中自动学习规律的一类方法。
两大分支:
传统机器学习:线性回归、SVM、随机森林、K-Means 等
深度学习(属于机器学习的子集)
核心思想:从数据拟合映射关系
y=f(x)
- 深度学习(Deep Learning, DL)
机器学习的子集
特指使用多层神经网络的机器学习方法;依靠多层结构自动提取特征,不需要人工设计特征。
传统机器学习:人工设计特征 → 模型预测
深度学习:原始数据输入 → 网络自动提取特征 → 预测
- 神经网络(Neural Network, NN)
深度学习的基础载体
模仿人脑神经元连接的数学模型:神经元接收输入、加权求和、激活输出。
浅层神经网络:只有 1~2 层隐藏层
深度神经网络 DNN:多层网络,也就是深度学习用到的基础结构
常见变体:CNN 卷积神经网络、RNN 循环神经网络、Transformer(内含自注意力)
- 自注意力机制(Self-Attention)
神经网络里的一种核心组件
出自 Transformer 架构。
作用:序列内部每个元素,自动计算和序列中所有元素的关联权重。
解决 RNN 串行无法并行、长距离依赖捕捉困难的问题。
公式简化理解:

应用:大语言模型 LLM、ViT 视觉 Transformer。
关系:自注意力 ≠ 网络,只是网络内部的模块,可以嵌入神经网络。
- 强化学习(Reinforcement Learning, RL)
独立于监督 / 无监督学习的机器学习范式
机器学习三大范式:
监督学习(有标签)
无监督学习(无标签)
强化学习(智能体与环境交互,靠奖励信号学习)
核心要素:智能体 Agent、环境 Environment、动作 Action、状态 State、奖励 Reward。
目标:学习策略,最大化长期累积奖励。
交叉概念:深度强化学习(DRL)
把神经网络当作强化学习里的价值网络 / 策略网络,例如 DQN、PPO。
通俗一句话区分
机器学习: 所有让机器从数据学规律方法的统称;
神经网络: 一套模仿神经元的数学模型;
深度学习: 用多层神经网络的机器学习;
自注意力: 神经网络里用来捕捉长距离关联的零件;
**强化学习:**通过和环境试错、拿奖励来学习,不靠现成标注数据。