吴恩达《机器学习》6-1->6-3:分类问题、假设陈述、决策界限

一、什么是分类问题?

在分类问题中,我们试图预测的变量𝑦是离散的值,通常表示某种类别或标签。这些类别可以是二元的,也可以是多元的。分类问题的示例包括:

  • 判断一封电子邮件是否是垃圾邮件(二元分类)
  • 判断一次金融交易是否涉及欺诈(二元分类)
  • 区分肿瘤是恶性的还是良性的(二元分类)
  • 图像识别:将图像分为不同的类别(多元分类)

分类问题在现实世界中无处不在,因此开发有效的分类算法至关重要。逻辑回归是其中一种应用最广泛的分类算法。

二、逻辑回归

逻辑回归是一种分类算法,尽管其名称中包含"回归",但它实际上是用于分类任务的算法。逻辑回归的特点是其输出值永远在0到1之间,这使得它非常适合处理离散的标签,如0和1。

与线性回归不同,逻辑回归的输出范围被约束在0, 1之间,因此它适用于计算概率。具体来说,逻辑回归模型使用一个逻辑函数(Sigmoid函数)来将输入映射到0和1之间。逻辑函数的公式为:

css 复制代码
g(z) = 1 / (1 + e^(-z))

在这个公式中,z表示输入,g(z)表示逻辑函数。逻辑函数的作用是计算在给定输入条件下,输出为1的可能性。如果g(z)大于等于0.5,则模型预测为1;如果g(z)小于0.5,则模型预测为0。

三、假设函数表示

逻辑回归模型的假设函数表示如下:

python 复制代码
ℎ𝜃(𝑥) = 𝑔(𝜃^𝑇𝑥)

在这个表示中,𝑥代表特征向量,𝑔代表逻辑函数。模型的任务是根据选择的参数计算输出变量为1的可能性,即ℎ𝜃(𝑥) = 𝑃(𝑦 = 1|𝑥; 𝜃)。例如,如果计算得到ℎ𝜃(𝑥) = 0.7,那么表示有70%的几率𝑦为正向类,相应地𝑦为负向类的几率为0.3。

四、判定边界

在逻辑回归中,我们通过选择适当的参数𝜃来定义一个决策边界(decision boundary),该边界将数据分为不同的类别。决策边界是一个分割区域,对于不同的输入数据,模型会预测其属于不同的类别。

逻辑回归的假设函数可以表示为:

python 复制代码
ℎ𝜃(𝑥) = 𝑔(𝜃0 + 𝜃1𝑥1 + 𝜃2𝑥2 + 𝜃3𝑥1² + 𝜃4𝑥2²)

在上述表达式中,𝑥1和𝑥2是特征,𝜃0、𝜃1、𝜃2、𝜃3、𝜃4是模型的参数。根据不同的参数,我们可以得到不同的决策边界。这意味着逻辑回归模型可以适应各种形状的决策边界,从简单的直线到复杂的曲线。

参考资料:

中英字幕吴恩达机器学习系列课程

黄海广博士 - 吴恩达机器学习个人笔记

相关推荐
叼烟扛炮1 小时前
[LangChain] 学习笔记(13):并发不是越大越好——batch / gather / 信号量 / 配额治理
笔记·学习·langchain
渣渣盟1 小时前
狂命爆肝99天,共52K字的JAVA学习笔记奉上,JAVA从入门到精通一文搞定,一文在手JAVA无忧
java·笔记·学习
叼烟扛炮12 小时前
[LangChain] 学习笔记(09):工具(Tool)定义与调用闭环 · 理论+实战完整版
笔记·学习·langchain
个 人 练 习 生12 小时前
C++:从零基础到深入了解vector的使用
开发语言·c++·经验分享·学习·程序人生·stl
Rabitebla14 小时前
【Linux操作系统】 文件篇(一):文件描述符与 Linux 文件管理机制
linux·网络·c++·笔记·学习
Flying Bear16 小时前
Keithley 2450 SourceMeter源表上位机开发笔记
笔记·单片机·嵌入式硬件
旖旎夜光16 小时前
【C++ 基础入门】智能指针:RAII、unique_ptr 与 shared_ptr 循环引用
c++·笔记·学习·智能指针
饮水桶_T17 小时前
Python 面向对象(十七)|继承、封装、多态 笔记
数据结构·笔记·算法
星恒随风19 小时前
MySQL 从零入门(十):MVCC、Undo Log 与 Read View 详解——InnoDB 如何实现事务隔离?
linux·数据库·笔记·sql·mysql