第一章:线性回归& 逻辑回归

目录

一、回归问题

二、线性回归的通俗解释

三、线性回归的数学形式

四、误差的引入

五、误差的分布假设

六、由误差到条件概率

七、似然函数与对数似然

八、化简得到最小二乘

九、解析解(正规方程)

十、线性回归的评估方法

十一、梯度下降的引入

梯度下降的三种形式

十二、逻辑回归

[十三、Sigmoid 函数](#十三、Sigmoid 函数)

十四、逻辑回归的预测函数

十五、逻辑回归的似然与损失

十六、逻辑回归的梯度

[十七、多分类 Softmax](#十七、多分类 Softmax)

总结


一、回归问题

我们先通过一个具体例子来理解回归问题。

  • 数据:工资和年龄(两个特征)

  • 目标:预测银行会贷款给我多少钱(标签)

样本数据如下:

工资 年龄 额度
4000 25 20000
8000 30 70000
5000 28 35000
7500 33 50000
12000 40 85000

问题是:

工资和年龄都会影响最终银行贷款的结果,那么它们各自有多大的影响?

这里的"影响大小",就是我们要学习的参数。


二、线性回归的通俗解释

    • , ​:两个特征(工资、年龄)

    • :银行最终会贷款给我们多少钱

线性回归要做的事情是:

在高维空间中,找到一条(或一个平面),

使其尽可能好地拟合所有数据点。


三、线性回归的数学形式

假设:

  • :年龄的参数

  • :工资的参数

  • ​:偏置项

拟合的平面表示为:

将其写成统一形式:


四、误差的引入

真实值和预测值之间一定存在差异,这个差异称为误差。

对于每一个样本:

其中:

  • 表示第 iii 个样本的误差

五、误差的分布假设

我们对误差作如下假设:

  1. 独立性

    不同样本之间的误差相互独立

  2. 同分布

    所有样本的误差来自同一个分布

  3. 高斯分布

这表示误差均值为 0,方差为 。


六、由误差到条件概率

由预测模型:

又因为误差服从高斯分布:

代入得到条件概率:


七、似然函数与对数似然

假设样本之间相互独立,则总体似然函数为:

取对数得到对数似然:

这样可以把复杂的乘法转化为加法,便于计算。


八、化简得到最小二乘

展开并去掉与参数无关的常数项后,目标变为:

这就是最小二乘法的目标函数。


九、解析解(正规方程)

对目标函数求导并令导数为 0,可以得到闭式解:


十、线性回归的评估方法

常用评估指标是:

  • 越接近 1,模型拟合效果越好

十一、梯度下降的引入

当目标函数难以直接求解时,采用梯度下降法。

核心思想是:

一步一步沿着目标函数下降最快的方向更新参数。

目标函数示例:


梯度下降的三种形式

  • 批量梯度下降
  • 随机梯度下降
  • 小批量梯度下降

十二、逻辑回归

逻辑回归是一个经典的二分类算法。

  • 先用逻辑回归

  • 再用更复杂的模型

  • 能简单就不用复杂


十三、Sigmoid 函数

Sigmoid 函数定义为:

其作用是:

将任意实数映射到区间 0,10,10,1。


十四、逻辑回归的预测函数

预测函数为:

对应概率解释:


十五、逻辑回归的似然与损失

似然函数:

对数似然:

转化为梯度下降的目标函数:


十六、逻辑回归的梯度

最终得到梯度:

参数更新公式:


十七、多分类 Softmax

Softmax 用于多分类问题,其基本思想是将线性输出映射为概率分布。


总结

逻辑回归真的真的很好用。

相关推荐
电科_银尘4 小时前
【大模型算法与工程 15】手写Self-Attention:Q、K、V与缩放点积
算法
郝学胜-神的一滴7 小时前
Effective STL 条款03:容器中的对象复制要廉价且正确
开发语言·数据结构·c++·算法·rpc·stl
秋天的怀念_David7 小时前
算法一千零一夜 · 第三十三夜 · 跳表
java·程序人生·算法
Pniubi10 小时前
力扣21合并两个有序链表
算法·leetcode·职场和发展
AIgorithmGEEK10 小时前
std::unordered_map 与 std::unordered_set:接口、算法技巧与权衡 (速查)
c++·算法·哈希表·负载因子·桶·unordered_map·unordered_set
上海潭龙东海科技有限公司12 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
阿庆_AI研发工程师14 小时前
Stanford CS336 Lecture 10:大语言模型推理与性能优化
算法
用户73416810354814 小时前
基于MindSpore的深度残差收缩网络程序
算法
Pniubi14 小时前
力扣239.滑动窗口最大值(优先队列)
算法·leetcode·职场和发展
青少儿编程课堂16 小时前
第十八届蓝桥杯青少组图形化真题 + 全国青少年信息素养大赛 + 电子学会图形化考级:校园泡泡堂大挑战解析
c++·python·算法·bfs·信息学竞赛