🧠 机器学习 第一章
一、什么是机器学习 (Machine Learning)
让计算机自己从数据中学习出规律,无需人手写规则
- 输入: 特征 x
- 输出: 标签 y
- 学习目标: 学习出 f(x) 等价于 y
二、三大类型任务
类型 | 英文 | 特点 | 示例 |
---|---|---|---|
回归 | Regression | 输出是连续值 | 房价预测 |
分类 | Classification | 输出是类别标签 | 图像识别 |
结构化学习 | Structured Prediction | 输出是结构 | 机器翻译、NER |
三、模型核心公式
y = w x + b y = wx + b y=wx+b
符号 | 意义 |
---|---|
x | 输入特征 |
w | 权重 |
b | 偏置 |
y | 预测值 |
四、Loss (损失函数)
用来衡量预测和真实值有多大差距
🔹 常用衡量:MSE (均方误)
L o s s = 1 n ∑ ( y i − y ^ i ) 2 Loss = \frac{1}{n} \sum (y_i - \hat{y}_i)^2 Loss=n1∑(yi−y^i)2
- 输出越出误越小,Loss 越小
五、模型训练:梯度下降
🔹 目标:寻找 w、b 使 loss 最小
w = w − η ⋅ ∂ L ∂ w b = b − η ⋅ ∂ L ∂ b w = w - \eta \cdot \frac{\partial L}{\partial w} \ b = b - \eta \cdot \frac{\partial L}{\partial b} w=w−η⋅∂w∂L b=b−η⋅∂b∂L
- 通过每次计算方向(导数)进行更新
- 就是一步步往 Loss 地形最低点跑
六、向量化计算:NumPy 操作
x
是数组,包含所有样本w * x + b
是一群预测值y_pred - y
:一群误差np.mean()
就是对误差平方求均
七、神经网络公式构建
y = b + ∑ i c i ⋅ s i g m o i d ( b i + ∑ j w i j x j ) y = b + \sum_i c_i \cdot sigmoid(b_i + \sum_j w_{ij}x_j) y=b+i∑ci⋅sigmoid(bi+j∑wijxj)
- 输入 x_j 经 w 和 b_i 进入 hidden layer
- hidden 经 sigmoid 转换
- hidden 和 c_i 相乘合并进入输出 y
八、激活函数 Activation Function
🔹 给神经元带来非线性能力,让网络可以拟合复杂函数
名称 | 特性 | 应用 |
---|---|---|
Sigmoid | S型,输出 0~1 | 合适二分类、概率输出 |
ReLU | 负值滤掉,保留正值 | 现代深度网络主流 |