【机器学习】python基础实现线性回归

手写梯度下降的实现y=kx+b的线性回归

算法步骤:

(1)构造数据,y=3*x+5;

(2)随机初始化,任意数值,例如=9,=10;

(3)计算,并计算

(4)分别对求导数,

其中

重复循环n次后停止

构造线性函数:

代码实现:

python 复制代码
X=[i for i in range(0,15)]

k=3
b=5
Y=[k*i+b for i in X]

import matplotlib.pyplot as plt
fig, ax = plt.subplots()

# 在同一个图形中绘制散点图和折线图
ax.scatter(X, Y, color='blue', label='scatter')
ax.plot(X, Y, color='red', label='line')

# 添加图例
ax.legend()

# 显示图形
plt.show()

MSE损失函数:

python 复制代码
loss.append((Y[i]-y_[i])**2)  #公式对应代码

分别对k和b求导结果如图所示:

python 复制代码
#公式对应代码
delta_K_sum.append((Y[i]-y_[i])*(-2)*X[i])
delta_B_sum.append((Y[i]-y_[i])*(-2))

全部代码:

python 复制代码
X=[i for i in range(0,15)]
X
k=3
b=5
Y=[k*i+b for i in X]
Y
import matplotlib.pyplot as plt
# 创建散点图
plt.scatter(X, Y)

# 显示图形
plt.show()
#随机初始化要求的k和b
K=8
B=10
#k和b是正确答案,根据数据和随机初始化的K和B去拟合函数,找到最优的k和b
#y=Kx+B
loss=[]

#计算预测值
for i in range(1000):
    y_=[K*i+B for i in X]

    loss=[]
    for i in range(len(X)):
        loss.append((Y[i]-y_[i])**2)
    print(sum(loss)/len(loss))
    # cha=loss.sum()/len(loss)
    #计算loss

    #根据最小二乘法  对y_求导,等我用纸写一下,利用loss对K求梯度,去更新K的值,对B求梯度,求更新B的值
    #直到K和B基本拟合图像
    delta_K_sum=[]
    delta_B_sum=[]
    for i in range(len(X)):
        delta_K_sum.append((Y[i]-y_[i])*(-2)*X[i])
        delta_B_sum.append((Y[i]-y_[i])*(-2))
    delta_K=sum(delta_K_sum)/len(delta_K_sum)

    delta_B=sum(delta_B_sum)/len(delta_B_sum)
    #0.01是学习率,保证稳定收敛
    K=K-0.01*delta_K
    B=B-0.01*delta_B
    print(K,B)
print(K,B)

结果图像:

python 复制代码
X=[i for i in range(0,15)]

Y=[K*i+B for i in X]

import matplotlib.pyplot as plt
fig, ax = plt.subplots()

# 在同一个图形中绘制散点图和折线图
ax.scatter(X, Y, color='blue', label='scatter')
ax.plot(X, Y, color='red', label='line')

# 添加图例
ax.legend()

# 显示图形
plt.show()
相关推荐
小刘在重生~1 小时前
Java常用类|String类详解 + BigDecimal精准计算(含面试题)
java·开发语言·python
姜穆澜1 小时前
机器学习实战指南:从算法原理到工程落地
人工智能·算法·机器学习
大汉堡玩测试1 小时前
langfuse测试实战(一): 配置一个简单的项目快速落地
python·测试工具
一位正在转型AI全栈的前端工程师2 小时前
AI 全栈学习之旅 -Week 8:从单 Agent 到多 Agent 协作:LangGraph 实战与记忆持久化
前端·python
长江后浪博客2 小时前
Python + YOLOv8 疲劳驾驶 AI 视觉检测入门:从模型训练到 ONNX 实时摄像头检测完整实战
人工智能·python·yolo·疲劳驾驶检测·onnx·yolov8
hhzz2 小时前
【OpenCV 入门到精通 01】认识 OpenCV 与计算机视觉:从零建立全局认知
人工智能·python·opencv·计算机视觉·开源
一马平川的大草原3 小时前
如何实现SVG转Mermaid图
python·svg·格式转换·mermaid
PFFstronger3 小时前
基于 Dify 知识库 + Ollama 大模型,自动生成测试用例并导出 XMind 的完整方案
人工智能·python·测试用例·xmind
SomeBottle3 小时前
【小记】图片托管从又拍云迁移到腾讯云 EO + COS(兼容图片处理参数)
python·计算机网络·学习笔记·对象存储·cdn·折腾
cts6184 小时前
FDE架构师前端选型指南
python