4.回归与聚类算法 4.1线性回归

4.1.1 线性回归的原理

1 线性回归应用场景:

房价预测

销售额度预测

金融:贷款额度预测,利用线性回归以及系数分析因子

2 什么是线性回归

1) 定义:利用回归方程(函数)对一个或者多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。

2)特点:只有一个自变量的情况称为单变量回归,多于一个自变量情况叫做多元回归。

线性关系不等同于线性模型。

线性模型有两种:自变量一次,参数一次

而线性关系就是自变量与参数都是一次的。

4.1.2 线性回归的损失和优化原理

目标:求模型参数

模型参数能够使得预测准确

损失函数/cost/成本函数/目标函数/最小二乘法:含义相同,只是名字不同

1 损失函数

2 优化算法

1)正规方程

如何去求模型当中的w,使得损失最小?(目的是找到最小损失对应的w的值)

线性回归经常使用的两种优化算法有:正规方程(天才,直接求解w),梯度下降(普通人,试错,改进)

拓展:y=ax^2+bx+c

y'=2ax+b=0

x=-b/2a

2)梯度下降

所以有了"梯度下降"这一优化算法,回归就有了"自动学习"的能力。

4.1.3 线性回归API

4.1.4 波士顿房价预测

流程:

1)获取数据集

2)划分数据集

3)特征工程:无量纲化-标准化

4)预估器流程:fit--> 模型

coef_ intercept

  1. 模型评估
回归性能评估:

对比:



相关推荐
莫等闲-1 小时前
leetcode42. 接雨水 leetcode84.柱状图中最大的矩形
数据结构·c++·算法·leetcode
unicrom_深圳市由你创科技1 小时前
历史数据存储量太大,怎么处理?数据压缩/归档策略?
算法
浅念-1 小时前
LeetCode 记忆化搜索 刷题总结
数据结构·算法·leetcode·职场和发展·深度优先·dfs
菜菜的顾清寒1 小时前
力扣HOT100(44)对称二叉树
数据结构·算法·leetcode
吃好睡好便好1 小时前
矩阵的左乘和右乘
人工智能·学习·线性代数·算法·matlab·矩阵
我命由我123451 小时前
SEO 与 GEO 极简理解
java·linux·运维·开发语言·学习·算法·运维开发
月光刺眼1 小时前
🎶二分 · 双指针 · 滑动窗口 · 螺旋矩阵:数组算法四题拆解
javascript·算法
海清河晏1112 小时前
字符串匹配:BF算法与KMP算法
数据结构·算法·visual studio
wandertp2 小时前
对信号处理及滤波器的理解---基于robomaster机器人嵌入式控制系统
arm开发·stm32·算法·信号处理
z小猫不吃鱼2 小时前
15 InstructGPT 论文精读:SFT + RLHF 如何让模型听懂指令?
人工智能·深度学习·算法·机器学习·语言模型·自然语言处理·gpt-3