深度学习DeepLearning多元线性回归 学习笔记

文章目录

多维特征

变量与术语

列属性xj 属性数n x ⃗ \vec{x} x (i)行向量 某个值 x ⃗ j i \vec{x}_j^i x ji上行下列
均值μ 标准化 标准差σ sigma(σ)

公式

w ⃗ \vec{w} w = [w1 w2 w3 ...]
x ⃗ \vec{x} x = [x1 x2 x3 ...]

f w ⃗ , b ( x ⃗ ) = w ⃗ ∗ x ⃗ + b = w 1 x 1 + w 2 x 2 + ... + w n x n + b f_{\vec{w},b} (\vec{x}) = \vec{w} * \vec{x} + b = w_1x_1 + w_2x_2 + ... + w _nx_n + b fw ,b(x )=w ∗x +b=w1x1+w2x2+...+wnxn+b

多元线性回归

python 复制代码
import numpy
f = np.dot(w, x) + b

注:n很大的时候很快(并行处理)

正规方程法

  1. 大于1000效率低
  2. 不能推广到其他算法,如逻辑回归,神经网络或其他算法。
  3. 没有迭代

w n = w n − α 1 m ∑ i = 1 m f w ⃗ , b ( x ⃗ ( i ) − y ( i ) ) x n ( i ) w_n = w_n - α\dfrac{1}{m} \sum\limits_{i=1}^mf_{\vec{w},b}(\vec{x}^{(i)}-y^{(i)})x_n^{(i)} wn=wn−αm1i=1∑mfw ,b(x (i)−y(i))xn(i)

b = b − α 1 m ∑ i = 1 m ( f w ⃗ , b ( x ⃗ ( i ) − y ( i ) ) b = b - α{\dfrac{1}{m}}\sum\limits_{i=1}^m(f_{\vec{w},b}(\vec{x}^{(i)}-y^{(i)}) b=b−αm1i=1∑m(fw ,b(x (i)−y(i))

较大范围的自变量对应权重趋于更小,较小范围的自变量对应权重趋于更大。

Mean normalization

除以范围的最大值以求得权重与自变量的[0, 1]

横坐标: x 1 = x 1 − μ 1 2000 − 300 x_1 = \dfrac{x_1-μ_1}{2000-300} x1=2000−300x1−μ1 纵坐标: x 2 = x 2 − μ 2 5 − 0 x_2 = \dfrac{x_2 - μ_2}{5-0} x2=5−0x2−μ2

− 0.18 ≤ x 1 ≤ 0.82 -0.18\le x_1\le0.82 −0.18≤x1≤0.82 − 0.46 ≤ x 2 ≤ 0.54 -0.46\le x_2\le0.54 −0.46≤x2≤0.54

Z-score normalization

300 ≤ x 1 ≤ 2000 300\le x_1\le2000 300≤x1≤2000 0 ≤ x 2 ≤ 5 0\le x_2\le5 0≤x2≤5

x 1 = x 1 − μ 1 σ 1 x1 = \dfrac{x_1-μ_1}{σ_1} x1=σ1x1−μ1 − 0.67 ≤ x 1 ≤ 3.1 -0.67\le x_1\le3.1 −0.67≤x1≤3.1

通过缩放尽量让所有特征的取值在差不多范围,这样它们的变化对预测值的影响都是接近的 接近(-3,3)

如果成本函数J变大,那么说明步长(学习率)不合适,或代码有误

注:迭代次数因机器而异

除了通过绘制曲线判断迭代到什么地步之外还可以采用自动收敛测试

让 ε 等于 1 0 − 3 10^{-3} 10−3,J的减小幅度小于这个很小的数则视作收敛。

设置合适的学习率

  1. 测试时可以设置一个很小的值, 看J是否减小
  2. 迭代时学习率不宜过大不宜过小
  3. 测试时每次 * 3,选择尽可能大的学习率,或是比合理值略小的

Feature engineering

通过变换或组合建立特征工程,给予更多选择

f w ⃗ , b ( x ⃗ ) = w 1 x 1 + w 2 x 2 + w 3 x 3 + b f_{\vec{w},b}(\vec{x}) = w_1x_1+w_2x_2+w_3x_3+b fw ,b(x )=w1x1+w2x2+w3x3+b

注:多项式回归可以用于线性和非线性拟合

相关推荐
子燕若水3 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室4 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿4 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫4 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
伍哥的传说4 小时前
React 各颜色转换方法、颜色值换算工具HEX、RGB/RGBA、HSL/HSLA、HSV、CMYK
深度学习·神经网络·react.js
大千AI助手4 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
AI生存日记4 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
LCG元5 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
why技术5 小时前
Stack Overflow,轰然倒下!
前端·人工智能·后端