【学习笔记】机器学习(Machine Learning) | 第五章(2)| 分类与逻辑回归

机器学习(Machine Learning)

简要声明

基于吴恩达教授(Andrew Ng)课程视频
BiliBili课程资源


文章目录


一、逻辑回归的基本原理

二、决策边界

在逻辑回归中,决策边界是模型用于划分不同类别样本的边界。对于二分类任务,决策边界通常是一个阈值,例如 0.5。当模型输出大于等于 0.5 时,我们预测样本属于正类(1);当模型输出小于 0.5 时,我们预测样本属于负类(0)。

决策边界的选择对于模型的性能至关重要。在实际应用中,我们可能需要根据具体问题调整决策边界,以平衡精度和召回率。

决策边界的数学表达

决策边界的数学表达式为:

f w → , b ( x → ) ≥ 0.5 f_{\overrightarrow{w}, b}(\overrightarrow{x}) \geq 0.5 fw ,b(x )≥0.5

根据 Sigmoid 函数的性质,当且仅当线性组合 z = w → ⋅ x → + b ≥ 0 z = \overrightarrow{w} \cdot \overrightarrow{x} + b \geq 0 z=w ⋅x +b≥0 时, g ( z ) ≥ 0.5 g(z) \geq 0.5 g(z)≥0.5。因此,决策边界可以表示为:

w → ⋅ x → + b = 0 \overrightarrow{w} \cdot \overrightarrow{x} + b = 0 w ⋅x +b=0

线性决策边界示例

假设我们有一个二维特征空间,其中 x 1 x_1 x1 和 x 2 x_2 x2 是两个特征。决策边界可以表示为:

w 1 x 1 + w 2 x 2 + b = 0 w_1 x_1 + w_2 x_2 + b = 0 w1x1+w2x2+b=0

例如,假设 w 1 = 1 w_1 = 1 w1=1, w 2 = 1 w_2 = 1 w2=1, b = − 3 b = -3 b=−3,则决策边界为:

x 1 + x 2 − 3 = 0 x_1 + x_2 - 3 = 0 x1+x2−3=0

即:

x 1 + x 2 = 3 x_1 + x_2 = 3 x1+x2=3

这个决策边界将特征空间划分为两个区域:当 x 1 + x 2 ≥ 3 x_1 + x_2 \geq 3 x1+x2≥3 时,预测 y ^ = 1 \hat{y} = 1 y^=1;否则预测 y ^ = 0 \hat{y} = 0 y^=0。

非线性决策边界

逻辑回归模型也可以处理非线性决策边界。通过引入多项式特征,我们可以构造更复杂的决策边界。例如:

z = w 1 x 1 2 + w 2 x 2 2 + b z = w_1 x_1^2 + w_2 x_2^2 + b z=w1x12+w2x22+b

决策边界为:

w 1 x 1 2 + w 2 x 2 2 + b = 0 w_1 x_1^2 + w_2 x_2^2 + b = 0 w1x12+w2x22+b=0

例如,假设 w 1 = 1 w_1 = 1 w1=1, w 2 = 1 w_2 = 1 w2=1, b = − 1 b = -1 b=−1,则决策边界为:

x 1 2 + x 2 2 − 1 = 0 x_1^2 + x_2^2 - 1 = 0 x12+x22−1=0

即:

x 1 2 + x 2 2 = 1 x_1^2 + x_2^2 = 1 x12+x22=1

这个决策边界是一个半径为 1 的圆,将特征空间划分为内部和外部两个区域:当 x 1 2 + x 2 2 ≥ 1 x_1^2 + x_2^2 \geq 1 x12+x22≥1 时,预测 y ^ = 1 \hat{y} = 1 y^=1;否则预测 y ^ = 0 \hat{y} = 0 y^=0。

非线性决策边界的示例

考虑一个更复杂的非线性决策边界:

z = w 1 x 1 2 + w 2 x 2 2 + w 3 x 1 3 + w 4 x 1 x 2 + w 5 x 2 3 + b z = w_1 x_1^2 + w_2 x_2^2 + w_3 x_1^3 + w_4 x_1 x_2 + w_5 x_2^3 + b z=w1x12+w2x22+w3x13+w4x1x2+w5x23+b

决策边界为:

w 1 x 1 2 + w 2 x 2 2 + w 3 x 1 3 + w 4 x 1 x 2 + w 5 x 2 3 + b = 0 w_1 x_1^2 + w_2 x_2^2 + w_3 x_1^3 + w_4 x_1 x_2 + w_5 x_2^3 + b = 0 w1x12+w2x22+w3x13+w4x1x2+w5x23+b=0

这个决策边界可以是椭圆、圆形或其他复杂的形状,具体取决于参数的选择。

决策边界是逻辑回归模型用于划分不同类别样本的边界。对于线性可分的数据,决策边界是一个线性方程;对于非线性可分的数据,可以通过引入多项式特征来构造非线性决策边界。

在实际应用中,合理选择决策边界对于提高模型的分类性能至关重要。通过调整模型参数,我们可以使决策边界更好地适应数据的分布。


continue...

相关推荐
东方芷兰6 分钟前
LLM 笔记 —— 01 大型语言模型修炼史(Self-supervised Learning、Supervised Learning、RLHF)
人工智能·笔记·神经网络·语言模型·自然语言处理·transformer
zhangrelay4 小时前
ROS2学习研究版本推荐:Jazzy Jalisco(LTS长期支持版)AI版本251001
笔记·学习
AI数据皮皮侠4 小时前
中国各省森林覆盖率等数据(2000-2023年)
大数据·人工智能·python·深度学习·机器学习
大白的编程日记.6 小时前
【Linux学习笔记】线程概念和控制(二)
linux·笔记·学习
克里斯蒂亚诺更新7 小时前
OpenSSL 3.0对某些加密算法增加了限制
笔记
随机惯性粒子群7 小时前
STM32控制开发学习笔记【基于STM32 HAL库】
笔记·stm32·嵌入式硬件·学习
小李独爱秋7 小时前
机器学习中的聚类理论与K-means算法详解
人工智能·算法·机器学习·支持向量机·kmeans·聚类
♛小小小让让7 小时前
RabbitMQ (二)参数
笔记·python·rabbitmq
ruleslol8 小时前
Week09-Clustering聚类&k-mean
机器学习·聚类
深栈8 小时前
机器学习:线性回归
人工智能·pytorch·python·机器学习·线性回归·sklearn