深度学习 回归问题

1. 梯度下降算法

深度学习中, 梯度下降算法是是一种很重要的算法.

梯度下降算法与求极值的方法非常类似, 其核心思想是求解 x ′ x' x′, 使得 x ′ x' x′ 在取 x ⋆ x^{\star} x⋆ 时, 可以使得 l o s s 函数 loss函数 loss函数 的值最小.

其中, 在求解 x ′ x' x′ 的过程中, 采用的是迭代的方法, 不断迭代逼近 x\^{\\star}. 最基本的公式为:
x ′ = x − l r × ▽ x x' = x - lr \times \triangledown x x′=x−lr×▽x

其中 ▽ x \triangledown x ▽x为 l o s s ′ ∣ x loss'|_{x} loss′∣x , l r lr lr 为学习率, 以上述公式为基础,发展出了更多的求解器.

2. 噪声

在现实世界中, 数据总是会存在误差.
y = w ∗ x + b + ϵ ϵ ∼ N ( 0.01 , 1 ) y = w * x + b + \epsilon \enspace\enspace \epsilon \sim {N(0.01, 1)} y=w∗x+b+ϵϵ∼N(0.01,1)

l o s s = ( W X + b − y ) 2 loss = (WX + b - y)^2 loss=(WX+b−y)2

3. 回归与分类

3.1 线性回归

预测范围为实数区间.

3.2 逻辑回归

加了压缩函数后, 压缩了预测范围[0, 1].

3.3 分类

如手写数字识别.

4. 优化

y = w x + b + ϵ y = wx + b + \epsilon y=wx+b+ϵ中, 通过已有的 x i x_i xi y i y_i yi求解 w w w ϵ \epsilon ϵ, 可以优化为以下问题:

5. 回归问题实践

5.1 计算给定点的误差

代码如下所示:

python 复制代码
def compute_error_for_line_given_points(b, w, points):
    totalError = 0
    for i in range(0, len(points)):
        x = points[i, 0]  # 获取当前点的x坐标
        y = points[i, 1]  # 获取当前点的y坐标
        # 计算预测值与实际值之间的差的平方,并累加到总误差中
        totalError += (y - (w * x + b)) ** 2
        # 返回平均误差
    return totalError / float(len(points))

5.2 计算梯度下降的梯度, 更新b和w

代码如下所示:

python 复制代码
def step_gradient(b_current, w_current, points, learningRate):
    b_gradient = 0
    w_gradient = 0
    N = float(len(points))  # 点的总数
    for i in range(0, len(points)):
        x = points[i, 0]
        y = points[i, 1]
        # 计算b和w的梯度
        # 梯度计算
        b_gradient += -(2 / N) * (y - (w_current * x + b_current))
        w_gradient += -(2 / N) * x * (y - (w_current * x + b_current))
    # 使用学习率更新b和w
    new_b = b_current - (learningRate * b_gradient)
    new_w = w_current - (learningRate * w_gradient)
    return [new_b, new_w]

5.3 执行梯度下降算法, 迭代b和w

代码如下所示:

python 复制代码
def gradient_descent_runner(points, starting_b, starting_m, learning_rate, num_iterations):
    b = starting_b
    m = starting_m  # 通常w用于表示斜率,但这里用m,可能是为了与初始变量名保持一致
    for i in range(num_iterations):
        b, m = step_gradient(b, m, np.array(points), learning_rate)
    return [b, m]

5.4 完整代码

python 复制代码
import torch  # 导入torch库,但在此代码中未直接使用
import numpy as np  # 导入numpy库,用于处理数值数据


# 计算给定直线(由参数b和w定义)对于一组点的误差
def compute_error_for_line_given_points(b, w, points):
    totalError = 0
    for i in range(0, len(points)):
        x = points[i, 0]  # 获取当前点的x坐标
        y = points[i, 1]  # 获取当前点的y坐标
        # 计算预测值与实际值之间的差的平方,并累加到总误差中
        totalError += (y - (w * x + b)) ** 2
        # 返回平均误差
    return totalError / float(len(points))


# 计算梯度下降中的梯度,并更新直线参数b和w
def step_gradient(b_current, w_current, points, learningRate):
    b_gradient = 0
    w_gradient = 0
    N = float(len(points))  # 点的总数
    for i in range(0, len(points)):
        x = points[i, 0]
        y = points[i, 1]
        # 计算b和w的梯度
        # 梯度计算
        b_gradient += -(2 / N) * (y - (w_current * x + b_current))
        w_gradient += -(2 / N) * x * (y - (w_current * x + b_current))
    # 使用学习率更新b和w
    new_b = b_current - (learningRate * b_gradient)
    new_w = w_current - (learningRate * w_gradient)
    return [new_b, new_w]


# 执行梯度下降算法以优化直线参数
def gradient_descent_runner(points, starting_b, starting_m, learning_rate, num_iterations):
    b = starting_b
    m = starting_m  # 通常w用于表示斜率,但这里用m,可能是为了与初始变量名保持一致
    for i in range(num_iterations):
        b, m = step_gradient(b, m, np.array(points), learning_rate)
    return [b, m]


# 主函数,用于运行梯度下降算法
def run():
    points = np.genfromtxt("data.csv", delimiter=",")  # 从CSV文件加载数据点
    learning_rate = 0.0001  # 设置学习率
    initial_b = 0  # 初始截距
    initial_m = 0  # 初始斜率(这里用m代替w)
    num_iterations = 1000  # 设置迭代次数
    # 在开始梯度下降之前,计算并打印初始误差
    print("Starting gradient descent at b = {0}, w = {1}, error = {2}"
          .format(initial_b, initial_m,
                  compute_error_for_line_given_points(initial_b, initial_m, points)))
    print("Running...")
    # 执行梯度下降
    [b, m] = gradient_descent_runner(points, initial_b, initial_m, learning_rate, num_iterations)
    # 打印梯度下降后的结果和最终误差
    print("After {0} iterations b = {1}, w ={2}, error = {3}"
          .format(num_iterations, b, m,
                  compute_error_for_line_given_points(b, m, points))
          )


if __name__ == '__main__':
    run()  # 调用主函数
相关推荐
麻雀无能为力1 小时前
CAU数据挖掘实验 表分析数据插件
人工智能·数据挖掘·中国农业大学
时序之心1 小时前
时空数据挖掘五大革新方向详解篇!
人工智能·数据挖掘·论文·时间序列
.30-06Springfield1 小时前
人工智能概念之七:集成学习思想(Bagging、Boosting、Stacking)
人工智能·算法·机器学习·集成学习
说私域2 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
永洪科技2 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
shangyingying_13 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
书玮嘎4 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习
猫头虎4 小时前
猫头虎 AI工具分享:一个网页抓取、结构化数据提取、网页爬取、浏览器自动化操作工具:Hyperbrowser MCP
运维·人工智能·gpt·开源·自动化·文心一言·ai编程
要努力啊啊啊4 小时前
YOLOv2 正负样本分配机制详解
人工智能·深度学习·yolo·计算机视觉·目标跟踪