24/8/4算法笔记 线性回归

在简单或多元线性回归中,最小二乘法用来估计模型参数,使得预测值与实际值之间的差异(残差)的平方和最小。

最小二乘法

导入代码包

复制代码
import numpy as np

X=np.array([[1,1],[2,1]])
X

构建矩阵

复制代码
y=np.array([14,10])
y

linalg是线性代数,用于求解线性方程组 Ax=b,solve计算线性代数回归问题

复制代码
np.linalg.solve(X,y)

转置

复制代码
X.T

矩阵乘法

复制代码
a=X.T.dot(X)

逆矩阵(inv)

复制代码
#逆矩阵
B=np.linalg.inv(a)
B

导入线性回归函数

复制代码
from sklearn.linear_model import LinearRegression

#LinearRegression 是一个常用的线性回归模型,用于预测连续的输出值。
model = LinearRegression(fit_intercept=False)#False,不计算斜率,没有使用正规方程

#X数据,y目标值
display(X,y)
model.fit(X,y)#这行代码用于训练模型。
model.coef_#结果,返回值#系数,斜率

获得截距项

复制代码
model.intercept_#表示截距项

带截距的线性方程

复制代码
y=y+12
y
复制代码
# 假设 X 是已经存在的一个 NumPy 数组,这里我们创建一个示例 X 来模拟
X = np.array([[1, 2], [3, 4]])

# 使用 np.full 创建一个形状为 (2, 1),填充值为 1 的数组,确保行数与 X 匹配
ones_array = np.full((X.shape[0], 1), fill_value=1)

# 使用 np.concatenate 在 X 的每行末尾添加 ones_array
X = np.concatenate([X, ones_array], axis=1)

# 假设 display 函数和 y 变量已经定义
display(X, y)

正规方程计算

复制代码
import matplotlib.pyplot as plt
import numpy as np

X=np.linspace(0,10,num=30).reshape(-1,1)#np.linspace(0, 10, num=30) 
这个函数会生成一个包含 30 个元素的数组,这些元素在 0 到 10 之间均匀分布。linspace 函数的第一个参数是起始值,第二个参数是结束值,第三个参数 num 是生成的元素数量。

斜率和截距随机生成

复制代码
w = np.random.randint(1,5,size=1)
b = np.random.randint(1,10,size=1)

y=X*w+b+np.random.randn(30,1)

plt.scatter(X,y)#绘制散点图
相关推荐
电科_银尘15 分钟前
【大模型算法与工程 01】机器学习的问题定义:监督、无监督、自监督与强化学习
人工智能·算法·机器学习
Z21-X25 分钟前
云原生运维学习笔记:从操作系统底层到 Kubernetes 集群的深度实践
运维·笔记·学习·云原生·kubernetes
电科_银尘28 分钟前
【大模型算法与工程 05】分类、回归与排序指标:怎样评价一个模型
算法·分类·回归
星恒随风39 分钟前
MySQL 从零入门(七):索引原理与 B+ 树详解——从磁盘 I/O 到 InnoDB 聚簇索引
linux·服务器·数据库·笔记·mysql
希和202713 小时前
江科大 51 单片机笔记:DS18B20 温度传感器 + LCD1602 显示代码详解
笔记·单片机·mongodb
罗西的思考13 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考13 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
武子康15 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
Sakura_j_h_17 小时前
MCP SDK 2.0 实战:用 MCPServer 搭本地笔记检索服务
开发语言·笔记·python·qt·ai工具·mcp·mcpserver
武子康20 小时前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法