机器学习——逻辑回归

目录

一、分类问题

监督学习的最主要类型

二分类

多分类

二、Sigmoid函数

三、逻辑回归求解

代价函数推导过程(极大似然估计):

交叉熵损失函数

逻辑回归的代价函数

[代价函数最小化------梯度下降: ​编辑](#代价函数最小化——梯度下降: 编辑)

正则化

四、逻辑回归代码实现

[Sigmoid 函数](#Sigmoid 函数)

代价函数

[​编辑 正则化](#编辑 正则化)


一、分类问题

监督学习的最主要类型

分类(Classification):

  • 身高1.85m,体重100kg的男人穿什么尺码的T恤?
  • 根据肿瘤的体积、患者的年龄来判断良性或恶性?
  • 根据用户的年龄、职业、存款数量来判断信用卡是否会违约?

输入变量可以是离散的,也可以是连续的。

二分类

们先从用蓝色圆形数据定义为类型1,其余数据为类型2; 只需要分类1次 步骤:①->②

多分类

我们先定义其中一类为类型1(正类),其余数据为负类(rest); 接下来去掉类型1数据,剩余部分再次进行二分类,分成类型2和负类;如果有n类,那就需要分类n-1次 步骤:①->②->③->......

二、Sigmoid函数

σ(z)代表一个常用的逻辑函数(logistic function)为S形函数(Sigmoid function)

合起来,我们得到逻辑回归模型的假设函数:

当σ(z)大于等于0.5时,预测 y =1

当σ(z)小于0.5时,预测 y =0

三、逻辑回归求解

逻辑回归模型的假设函数:

逻辑函数(logistic function)公式为:

二分类相当于一个概率模型:

合起来:

代价函数推导过程(极大似然估计):

似然函数为:

似然函数两边取对数,则连乘号变成了连加号:

代价函数为:

交叉熵损失函数

代价函数就是对m个样本的损失函数求和然后除以m:

逻辑回归的代价函数

代价函数最小化------梯度下降:

正则化

正则化:目的是为了防止过拟合

当 λ 的值开始上升时,降低了方差。

四、逻辑回归代码实现

Sigmoid 函数

代价函数

正则化

相关推荐
一 铭39 分钟前
AI领域新趋势:从提示(Prompt)工程到上下文(Context)工程
人工智能·语言模型·大模型·llm·prompt
麻雀无能为力4 小时前
CAU数据挖掘实验 表分析数据插件
人工智能·数据挖掘·中国农业大学
时序之心4 小时前
时空数据挖掘五大革新方向详解篇!
人工智能·数据挖掘·论文·时间序列
.30-06Springfield5 小时前
人工智能概念之七:集成学习思想(Bagging、Boosting、Stacking)
人工智能·算法·机器学习·集成学习
说私域6 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
永洪科技6 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
shangyingying_16 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
书玮嘎7 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习
猫头虎7 小时前
猫头虎 AI工具分享:一个网页抓取、结构化数据提取、网页爬取、浏览器自动化操作工具:Hyperbrowser MCP
运维·人工智能·gpt·开源·自动化·文心一言·ai编程
要努力啊啊啊7 小时前
YOLOv2 正负样本分配机制详解
人工智能·深度学习·yolo·计算机视觉·目标跟踪