Datawhale X 南瓜书 task02学习笔记

算法原理引入

  • 样本点通常应该在模型的2侧,原因:在实际中,因为某种不可控的因素,测出来的样本点肯定是有误差的。如果样本数据点都在模型上,则说明在建立模型时,把误差也考虑进去了,这就是我们说的过拟合。

  • **好的模型:**样本点离模型距离最近;

  • **正交回归:**以样本点距模型的距离为评判标准的算法叫做正交回归。

  • 线性回归: 样本点做平行于y轴的线同模型交于一点,样本点同这一交点所构成的线段的长短是评判标准。(即误差)(误差最小的模型就是我们所要求的模型),(线性回归的)所有的误差的和叫做均方误差。也叫作:最小二乘法。


算法原理正篇

线性模型

基本形式

文字描述:试图学得一个通过属性的线性组合来进行预测的函数

数学描述:

  • 许多非线性模型可以通过在线性模型的基础上引入层级结构或高维映射而得
  • w直观地呈现了各属性在预测中重要性,故线性模型的可解释性。

线性模型之线性回归

  • 数据集形式:
  • 特征工程如下:
    1.对离散属性,若属性值之间存在"序"关系,可通过连续化将其转化为连续值:
    eg:二值属性"身高"的取值"高""矮"可转化为{1.0,0.0};

    三值属性"高度"的取值"高""中""低"可转化为{1.0,0.5,0.0};
    2.若属性值间不存在序关系,假定有k个属性值,则通常转化为k维向量:

    eg:属性"瓜类"的取值"西瓜""南瓜""黄瓜"可转化为(0,0,1),(0,1,0),(1,0,0).

线性回归的损失函数

下图中的二值离散特征中x1的含义是:好看,数值为1; x2的含义是:不好看,数值为0

有序的多值离散特征中x1的含义是:饭量小;x2的含义是:饭量中;x3的含义是:饭量大。

无序的多值离散特征中x4的含义是:=1表示是黄;x5的含义是:=1表示是黑;x6的含义是:=1表示是白;


线性回归的损失函数之最小二乘法

  • **目的:**试图找到一条直线,使所有样本到直线上的欧氏距离之和最小。

下图中的yi是预测值,f(xi)是实际值

3.4的式子旨在求出使这个式子最小的w和b


求解3.4的式子的过程如下:

将E(w,b)分别对w和b求导,得到

多元线性回归模型推理如下:

总结:多元线性回归就是把一元线性回归的x变成了有样例集的特征向量集(矩阵格式),其他都一样 。

线性回归之对数线性回归

  • **引入场景:示例所对应的输出标记是在指数尺度(指数的大小)**上变化。
  • **文字描述:**将输出标记的对数作为线性模型逼近的目标。
  • 数学描述:
  • **实质:**求输入空间到输出空间的非线性函数映射
  • **取对的目的:**将线性回归模型的预测值与真实值(值感觉比标记好理解)联系起来。
  • 对数线性回归的示意图:

广义线性模型:

其中函数g(.)称为"联系函数"

对数线性回归模型是g(.)=ln(.)的特例

相关推荐
shut up32 分钟前
LangChain - 如何使用阿里云百炼平台的Qwen-plus模型构建一个桌面文件查询AI助手 - 超详细
人工智能·python·langchain·智能体
Larry_Yanan1 小时前
QML学习笔记(三十四)QML的GroupBox、RadioButton
c++·笔记·qt·学习·ui
宝贝儿好1 小时前
【python】第五章:python-GUI编程
python·pyqt
im_AMBER1 小时前
杂记 14
前端·笔记·学习·web
闲人编程2 小时前
从多个数据源(CSV, Excel, SQL)自动整合数据
python·mysql·数据分析·csv·存储·数据源·codecapsule
B站_计算机毕业设计之家2 小时前
推荐系统实战:python新能源汽车智能推荐(两种协同过滤+Django 全栈项目 源码)计算机专业✅
大数据·python·django·汽车·推荐系统·新能源·新能源汽车
茯苓gao2 小时前
Django网站开发记录(一)配置Mniconda,Python虚拟环境,配置Django
后端·python·django
Full Stack Developme2 小时前
Python Redis 教程
开发语言·redis·python
码界筑梦坊2 小时前
267-基于Django的携程酒店数据分析推荐系统
python·数据分析·django·毕业设计·echarts
Cherry Zack2 小时前
Django视图进阶:快捷函数、装饰器与请求响应
后端·python·django