Datawhale X 南瓜书 task02学习笔记

算法原理引入

  • 样本点通常应该在模型的2侧,原因:在实际中,因为某种不可控的因素,测出来的样本点肯定是有误差的。如果样本数据点都在模型上,则说明在建立模型时,把误差也考虑进去了,这就是我们说的过拟合。

  • **好的模型:**样本点离模型距离最近;

  • **正交回归:**以样本点距模型的距离为评判标准的算法叫做正交回归。

  • 线性回归: 样本点做平行于y轴的线同模型交于一点,样本点同这一交点所构成的线段的长短是评判标准。(即误差)(误差最小的模型就是我们所要求的模型),(线性回归的)所有的误差的和叫做均方误差。也叫作:最小二乘法。


算法原理正篇

线性模型

基本形式

文字描述:试图学得一个通过属性的线性组合来进行预测的函数

数学描述:

  • 许多非线性模型可以通过在线性模型的基础上引入层级结构或高维映射而得
  • w直观地呈现了各属性在预测中重要性,故线性模型的可解释性。

线性模型之线性回归

  • 数据集形式:
  • 特征工程如下:
    1.对离散属性,若属性值之间存在"序"关系,可通过连续化将其转化为连续值:
    eg:二值属性"身高"的取值"高""矮"可转化为{1.0,0.0};

    三值属性"高度"的取值"高""中""低"可转化为{1.0,0.5,0.0};
    2.若属性值间不存在序关系,假定有k个属性值,则通常转化为k维向量:

    eg:属性"瓜类"的取值"西瓜""南瓜""黄瓜"可转化为(0,0,1),(0,1,0),(1,0,0).

线性回归的损失函数

下图中的二值离散特征中x1的含义是:好看,数值为1; x2的含义是:不好看,数值为0

有序的多值离散特征中x1的含义是:饭量小;x2的含义是:饭量中;x3的含义是:饭量大。

无序的多值离散特征中x4的含义是:=1表示是黄;x5的含义是:=1表示是黑;x6的含义是:=1表示是白;


线性回归的损失函数之最小二乘法

  • **目的:**试图找到一条直线,使所有样本到直线上的欧氏距离之和最小。

下图中的yi是预测值,f(xi)是实际值

3.4的式子旨在求出使这个式子最小的w和b


求解3.4的式子的过程如下:

将E(w,b)分别对w和b求导,得到

多元线性回归模型推理如下:

总结:多元线性回归就是把一元线性回归的x变成了有样例集的特征向量集(矩阵格式),其他都一样 。

线性回归之对数线性回归

  • **引入场景:示例所对应的输出标记是在指数尺度(指数的大小)**上变化。
  • **文字描述:**将输出标记的对数作为线性模型逼近的目标。
  • 数学描述:
  • **实质:**求输入空间到输出空间的非线性函数映射
  • **取对的目的:**将线性回归模型的预测值与真实值(值感觉比标记好理解)联系起来。
  • 对数线性回归的示意图:

广义线性模型:

其中函数g(.)称为"联系函数"

对数线性回归模型是g(.)=ln(.)的特例

相关推荐
鲸渔6 小时前
【AI Agent系列课程13-Python 基础13】JSON 读写:结构化数据交换基础
开发语言·python·json·ai编程
Star(up up up)7 小时前
MySQL 事务隔离级别是如何实现的?从 MVCC 到锁机制原理详解
笔记·vscode·sql·学习·程序人生·mysql·学习方法
wuyk55516 小时前
Python办公自动化-第01讲-环境搭建与自动化认知
python·自动化·pyqt
高洁0117 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit17 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
yz_aiks19 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
琳少_20 小时前
java程序开发笔记
java·开发语言·数据库·笔记
2601_9679801121 小时前
Flask Web 应用
python·flask·web开发·环境变量·虚拟环境
aifannihao21 小时前
ß 大写变 SS:用 Python 算清 Ruby2Shell 的缓冲区账本
python·安全·标准库·缓冲区溢出·字符串编码
liwulin050621 小时前
【OLLAMA】调用SKILL的通用ReAct
python