线性回归笔记

线性回归简介

  1. 定义:通过属性的线性组合进行预测的线性模型,目标是找到一条直线、平面或更高维的超平面,使预测值与真实值的误差最小化。
  2. 示例:如房屋价格预测,可用函数f(x)=W0+W1x表示,其中x为房屋大小,f(x)为价格。
  3. 一般形式
    • 对于由d个属性描述的示例x=(x1;x2;⋯;xd),线性模型函数为f(x)=w1x1+w2x2+⋯+wdxd+b。
    • 向量形式:f(x)=wTx+b。
  4. 最小二乘法:基于均方误差最小化进行模型求解的方法,均方误差对应 "欧氏距离",其试图找到一条直线,使所有样本到直线的欧氏距离之和最小。

二、线性回归的评估指标

  1. 误差平方和 / 残差平方和(SSE/RSS):SSE=∑i=1m(yi−y^i)2
  2. 平方损失 / 均方误差(MSE):MSE=n1∑i=1n(yi−y^i)2
  3. R 方:越接近 1,模型拟合效果越好。
    • 计算公式:R2=1−∑(yi−yˉ)2∑(yi−y^i)2=1−SSTSSE,也可表示为R2=1−VarMSE。
    • 其中,SSR=∑(y^i−yˉ)2,SSE=∑(yi−y^i)2,SST=∑(yi−yˉ)2。

三、线性模型一般形式及参数估计

  1. 对于样本xi,模型为f(xi)=wxi+b,要使f(xi)≃yi。
  2. 参数估计:求w和b使E(w,b)=∑i=1n(yi−wxi−b)2最小化,此过程称为线性回归模型的最小二乘 "参数估计"。
  3. 求解:将E(w,b)分别对w和b求导,令导数为 0,可得到w和b的最优解。

四、多元线性回归

  1. 表达式:y=w0+w1x1+w2x2+⋯+wnxn
  2. 涉及多属性数据,可通过矩阵等形式进行表示和计算。
相关推荐
蒋星熠13 小时前
用 CodeBuddy CLI + Prompt,从零到可运行:前后端混合管理系统的高效实战
人工智能·python·机器学习·prompt·codebuddy code·无界生成力·ai cli
逻辑留白陈13 小时前
高维小样本数据处理方法全景指南:从传统机器学习到大模型(上)
人工智能·机器学习
JJJJ_iii14 小时前
【深度学习04】PyTorch:损失函数、优化器、模型微调、保存与加载
人工智能·pytorch·笔记·python·深度学习·机器学习
我是Feri16 小时前
机器学习之线性回归下的数据预处理:数据清洗的艺术(食材筛选指南)
开发语言·python·机器学习
wa的一声哭了16 小时前
Deep Learning Optimizer | Adam、AdamW
人工智能·深度学习·神经网络·机器学习·自然语言处理·transformer·pytest
晨曦54321016 小时前
机器学习完整流程详解
人工智能·机器学习
算法与编程之美16 小时前
探索flatten的其他参数用法及对报错异常进行修正
人工智能·pytorch·python·深度学习·机器学习
Godspeed Zhao18 小时前
自动驾驶中的传感器技术65——Navigation(2)
人工智能·机器学习·自动驾驶
智能交通技术18 小时前
iTSTech:智慧物流中自动驾驶、无人机与机器人的协同应用场景分析 2025
人工智能·机器学习·机器人·自动驾驶·无人机
先把态度摆正18 小时前
自动驾驶决策规划算法(开幕式)
人工智能·机器学习·自动驾驶