线性回归笔记

线性回归简介

  1. 定义:通过属性的线性组合进行预测的线性模型,目标是找到一条直线、平面或更高维的超平面,使预测值与真实值的误差最小化。
  2. 示例:如房屋价格预测,可用函数f(x)=W0+W1x表示,其中x为房屋大小,f(x)为价格。
  3. 一般形式
    • 对于由d个属性描述的示例x=(x1;x2;⋯;xd),线性模型函数为f(x)=w1x1+w2x2+⋯+wdxd+b。
    • 向量形式:f(x)=wTx+b。
  4. 最小二乘法:基于均方误差最小化进行模型求解的方法,均方误差对应 "欧氏距离",其试图找到一条直线,使所有样本到直线的欧氏距离之和最小。

二、线性回归的评估指标

  1. 误差平方和 / 残差平方和(SSE/RSS):SSE=∑i=1m(yi−y^i)2
  2. 平方损失 / 均方误差(MSE):MSE=n1∑i=1n(yi−y^i)2
  3. R 方:越接近 1,模型拟合效果越好。
    • 计算公式:R2=1−∑(yi−yˉ)2∑(yi−y^i)2=1−SSTSSE,也可表示为R2=1−VarMSE。
    • 其中,SSR=∑(y^i−yˉ)2,SSE=∑(yi−y^i)2,SST=∑(yi−yˉ)2。

三、线性模型一般形式及参数估计

  1. 对于样本xi,模型为f(xi)=wxi+b,要使f(xi)≃yi。
  2. 参数估计:求w和b使E(w,b)=∑i=1n(yi−wxi−b)2最小化,此过程称为线性回归模型的最小二乘 "参数估计"。
  3. 求解:将E(w,b)分别对w和b求导,令导数为 0,可得到w和b的最优解。

四、多元线性回归

  1. 表达式:y=w0+w1x1+w2x2+⋯+wnxn
  2. 涉及多属性数据,可通过矩阵等形式进行表示和计算。
相关推荐
青云交13 小时前
Java 大视界 -- Java 大数据机器学习模型在游戏用户行为分析与游戏平衡优化中的应用
java·大数据·机器学习·数据存储·模型构建·游戏用户行为分析·游戏平衡优化
周杰伦_Jay19 小时前
【自动驾驶开源仿真平台】Carla、AirSim、Udacity self-driving-car-sim、Apollo、Autoware。
人工智能·机器学习·自动驾驶
初级炼丹师(爱说实话版)1 天前
算法面经常考题整理(1)机器学习
人工智能·算法·机器学习
koo3641 天前
李宏毅机器学习笔记33
人工智能·笔记·机器学习
无风听海1 天前
神经网络之密集的词向量如何能够代表稀疏的词向量
人工智能·神经网络·机器学习
淡漠的蓝精灵1 天前
深度解析Weights & Biases:让AI实验管理变得如此简单
人工智能·其他·机器学习
音视频牛哥1 天前
低空经济的实时神经系统:空地一体化音视频架构的技术演进
机器学习·计算机视觉·音视频·低空经济·人工智能+·evtol·ai感知网络
Zyx20071 天前
用 JavaScript 打造 AI 大脑:前端开发者的新时代——基于 Brain.js 的浏览器端 NLP 实战
javascript·机器学习
Hs_QY_FX1 天前
幸福指数数据分析与预测:从数据预处理到模型构建完整案例
开发语言·python·机器学习
hrrrrb1 天前
【机器学习】监督学习
人工智能·学习·机器学习