简单回归问题实战

数据表:链接: https://pan.baidu.com/s/1sSz7F_yf_JeumXcP4EjE5g?pwd=753f 提取码: 753f

核心流程:

python 复制代码
import numpy as np
# 计算误差函数 points是数据集中数据的位置
def compute_error_for_line_given_points(b,w,points):
    totalError=0
    for i in range(0,len(points)):
        x=points[i,0]
        y=points[i,1]
        totalError+=(y-(w*x+b))**2          # 公式
    return totalError/float(len(points))    # 均方误差

# 梯度下降的参数更新
def step_gradient(b_current,w_current,points,learningRate):
    b_gradient=0
    w_gradient=0
    N=float(len(points))
    for i in range(0,len(points)):
        x=points[i,0]
        y=points[i,1]
        b_gradient+=(2*(w_current*x+b_current-y))/N     # loss函数对b求导  学习率的公式!
        w_gradient+=(2*(w_current*x+b_current-y)*x)/N   # loss函数对w求导
    new_b=b_current-learningRate*b_gradient
    new_w=w_current-learningRate*w_gradient
    return [new_b,new_w]

def gradient_descent_runner(points,starting_b,starting_w,learing_rate,num_iterations):
    b=starting_b
    w=starting_w

    min_error = float('inf')  # 初始化为正无穷大
    best_b = b
    best_w = w

    for i in range(num_iterations):
        b,w=step_gradient(b,w,np.array(points),learing_rate)
        error = compute_error_for_line_given_points(b, w, points)

        # 如果当前误差小于之前记录的最小误差,则更新最小误差和最佳参数
        if error < min_error:
            min_error = error
            best_b = b
            best_w = w
    return [b,w,best_b,best_w]

def run():
    points=np.genfromtxt("E:/first/project/resource/pytorch/simple-regression/data.csv",delimiter=",")
    learning_rate=0.0001
    initial_b=0
    initial_w=0
    num_iterations=1000
    print("Starting gradient descent at b={0},w={1},error={2}".format(initial_b,initial_w,compute_error_for_line_given_points(initial_b,initial_w,points)))
    [b,w,best_b,best_w]=gradient_descent_runner(points,initial_b,initial_w,learning_rate,num_iterations)
    print("After {0} interations b={1},w={2},error={3}".format(num_iterations,b,w,compute_error_for_line_given_points(b,w,points)))
    print("After {0} interations best_b={1},best_w={2},error={3}".format(num_iterations,best_b,best_w,compute_error_for_line_given_points(best_b,best_w,points)))
run()

当梯度下降法逐渐接近损失函数的最小值时,损失函数对参数的梯度(即导数)会趋近于零。这是因为在最小值点处,损失函数的变化率(即斜率)是最小的。因此,当 b_gradient 和 w_gradient 变得非常小时,更新量 learningRate * b_gradient 和 learningRate * w_gradient 也会变得非常小,导致 b 和 w 的变化几乎可以忽略不计。所以一般线性模型只有一个最低点的时候,会出现这种情况,找到最合适的b w后,后续迭代参数几乎不会变化

的变化几乎可以忽略不计。所以一般线性模型只有一个最低点的时候,会出现这种情况,找到最合适的b w后,后续迭代参数几乎不会变化

相关推荐
Rhys..8 小时前
Cucumber自学导航
javascript·python·bdd·cucumber
kobe_OKOK_8 小时前
Django ORM 无法通过 `ForeignKey` 自动关联,而是需要 **根据父模型中的某个字段(比如 ID)去查询子模型**。
后端·python·django
蜀中廖化8 小时前
python VSCode中报错 E501:line too long (81 > 79 characters)
开发语言·vscode·python
MoRanzhi12038 小时前
15. Pandas 综合实战案例(零售数据分析)
数据结构·python·数据挖掘·数据分析·pandas·matplotlib·零售
量化交易曾小健(金融号)9 小时前
Python美股量化交易填坑记录——3.盈透(Interactive Brokers)证券API接口
开发语言·python
java1234_小锋10 小时前
TensorFlow2 Python深度学习 - TensorFlow2框架入门 - 神经网络基础原理
python·深度学习·tensorflow·tensorflow2
JJJJ_iii10 小时前
【深度学习03】神经网络基本骨架、卷积、池化、非线性激活、线性层、搭建网络
网络·人工智能·pytorch·笔记·python·深度学习·神经网络
JJJJ_iii10 小时前
【深度学习05】PyTorch:完整的模型训练套路
人工智能·pytorch·python·深度学习
victory043110 小时前
TODO 分类任务指标计算和展示 准确率 F1 Recall
人工智能·机器学习·分类
rengang6610 小时前
07-逻辑回归:分析用于分类问题的逻辑回归模型及其数学原理
人工智能·算法·机器学习·分类·逻辑回归