线性回归 调试方法

调试方法

特征缩放

对于某些不具有比较性的样本特征 x i x_i xi (比如对其他的x来说 x i x_i xi 相当大或者相当小),梯度下降的过程可能会非常漫长,并且可能来回波动才能最后收敛到全局的最小值。

在这样的情况下,可以对 x i x_i xi 进行缩放(如 x i ≔ α x i x_i≔αx_i xi:=αxi 或者 x i = x i / α x_i=x_i/α xi=xi/α),使得 x i x_i xi 与其他的 x x x具有可比性,以增加梯度下降的效率。

**通常将 x x x缩放至⟦-1,1⟧**的区间内。(只表示一个大致的范围,这不是绝对的。)

均值归一

将 x i x_i xi 替换为 x i − μ i x_i−μ_i xi−μi 使得特征值具有为0的平均值(对 x 0 x_0 x0 不适用)
x i : = ( x i − μ i ) / s i x_i:=(x_i−μ_i)/s_i xi:=(xi−μi)/si

定义 μ i μ_i μi 为训练集 X X X 的平均值, s i = ∣ x i m a x − x i m i n ∣ s_i=|x_imax−x_imin | si=∣ximax−ximin∣, 表示 x i x_i xi 的取值范围(近似值),或者直接设置为 s i s_i si 的标准差。

学习率(Learning rate)

梯度下降调试的方法:

  1. 绘制 m i n J ( θ ) − b a t c h minJ(θ)-batch minJ(θ)−batch的图像

    原则:每一个batch之后 θ 的值都应该减小,这样的图像能够通过直观地表现变化率来表现梯度下降是否收敛(变化率为0)。

  2. 自动收敛测试

    如果 J ( θ ) J(θ) J(θ)在某一次迭代之后的下降值小于某个值 ε ε ε后,就能够判断算法已经达到了收敛。
    ε ε ε的值比较难取,所以通常采取1.中的方法进行观测。

常见的α过大的 m i n J ( θ ) − b a t c h minJ(θ)-batch minJ(θ)−batch的图像:

α过大,出现梯度爆炸,每次 J ( θ ) J(θ) J(θ)变化很大,导致代价函数无法收敛

α过小,梯度消失,每次 J ( θ ) J(θ) J(θ)变化很小,导致代价函数收敛速度过慢

相关推荐
怎么没有名字注册了啊1 分钟前
查找成绩(数组实现)
c++·算法
沐怡旸11 分钟前
【算法】725.分割链表--通俗讲解
算法·面试
L_09071 小时前
【Algorithm】Day-4
c++·算法·leetcode
代码充电宝2 小时前
LeetCode 算法题【简单】20. 有效的括号
java·算法·leetcode·面试·职场和发展
海琴烟Sunshine2 小时前
leetcode 119. 杨辉三角 II python
算法·leetcode·职场和发展
小杨的全栈之路2 小时前
霍夫曼编码:数据压缩的核心算法详解(附图解 + 代码)
算法
cjinhuo2 小时前
标签页、书签太多找不到?AI 分组 + 拼音模糊搜索,开源插件秒解切换难题!
前端·算法·开源
贝塔实验室2 小时前
频偏估计方法--快速傅里叶变换(FFT)估计法
网络协议·算法·数学建模·动态规划·信息与通信·信号处理·傅立叶分析
汉堡go2 小时前
1、机器学习与深度学习
人工智能·深度学习·机器学习
闭着眼睛学算法2 小时前
【双机位A卷】华为OD笔试之【模拟】双机位A-新学校选址【Py/Java/C++/C/JS/Go六种语言】【欧弟算法】全网注释最详细分类最全的华子OD真题题解
java·c语言·javascript·c++·python·算法·华为od