吴恩达机器学习笔记:逻辑回归5

1.简化的成本函数和梯度下降

这篇我们将会找出一种稍微简单一点的方法来写代价函数,来替换我们现在用的方法。同时我们还要弄清楚如何运用梯度下降法,来拟合出逻辑回归的参数。

这就是逻辑回归的代价函数:

这个式子可以合并成: C o s t ( h θ ( x ) , y ) = − y × log ⁡ ( h θ ( x ) ) − ( 1 − y ) × log ⁡ ( 1 − h θ ( x ) ) Cost(h_{\theta}(x), y) = - y \times \log(h_{\theta}(x)) - (1 - y) \times \log(1 - h_{\theta}(x)) Cost(hθ(x),y)=−y×log(hθ(x))−(1−y)×log(1−hθ(x))

即:
Cost ( h θ ( x ) , y ) = − y × log ⁡ ( h θ ( x ) ) − ( 1 − y ) × log ⁡ ( 1 − h θ ( x ) ) = − 1 m ∑ i = 1 m [ y ( i ) log ⁡ ( h θ ( x ( i ) ) ) + ( 1 − y ( i ) ) log ⁡ ( 1 − h θ ( x ( i ) ) ) ] \text{Cost}(h_{\theta}(x), y) = -y \times \log(h_{\theta}(x)) - (1-y) \times \log(1-h_{\theta}(x)) \ = - \frac{1}{m} \sum_{i=1}^{m} \Big[ y^{(i)} \log\Big(h_{\theta}(x^{(i)})\Big) + (1-y^{(i)}) \log\Big(1-h_{\theta}(x^{(i)})\Big) \Big] Cost(hθ(x),y)=−y×log(hθ(x))−(1−y)×log(1−hθ(x)) =−m1i=1∑m[y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]

根据这个代价函数,为了拟合出参数,该怎么做呢?我们要试图找尽量让J( θ \theta θ)取得最小值的参数 θ \theta θ。

如果我们给出一个新的样本,假如某个特征 x x x,我们可以用拟合训练样本的参数 θ \theta θ,来输出对假设的预测。

最小化代价函数的方法,是使用梯度下降法(gradient descent)

我们的代价函数:
J ( θ ) = − 1 m ∑ i = 1 m [ y ( i ) log ⁡ ( h θ ( x ( i ) ) ) + ( 1 − y ( i ) ) log ⁡ ( 1 − h θ ( x ( i ) ) ) ] J(\theta)= - \frac{1}{m} \sum_{i=1}^{m} \Big[ y^{(i)} \log\Big(h_{\theta}(x^{(i)})\Big) + (1-y^{(i)}) \log\Big(1-h_{\theta}(x^{(i)})\Big) \Big] J(θ)=−m1i=1∑m[y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]

如果我们要最小化这个关于 θ \theta θ的函数值,这就是我们通常用的梯度下降法的模板:

我们要反复更新每个参数,用这个式子来更新,就是用它自己减去学习率 α \alpha α乘以后面的微分项。

如果你有 𝑛 个特征,也就是说:

参数向量 θ \theta θ包括 θ 0 \theta_0 θ0 , θ 1 \theta_1 θ1, θ 1 \theta_1 θ1 一直到 θ n \theta_n θn,那么你就需要用这个式子,把每个 θ \theta θ都更新一下。如果你把这个更新规则和我们之前用在线性回归上的进行比较的话,你会惊讶地发现,这个式子正是我们用来做线性回归梯度下降的。

那么,线性回归和逻辑回归是同一个算法吗?实际上,假设的定义发生了变化。

对于线性回归假设函数:
h θ ( x ) = θ T X = θ 0 x 0 + θ 1 x 1 + θ 2 x 2 + ... + θ n x n h_{\theta}(x) = \theta^{T} X = \theta_{0} x_{0} + \theta_{1} x_{1} + \theta_{2} x_{2} + \ldots + \theta_{n} x_{n} hθ(x)=θTX=θ0x0+θ1x1+θ2x2+...+θnxn

而现在逻辑函数假设函数:
h θ ( x ) = 1 1 + e − θ T x h_{\theta}(x) = \frac{1}{1 + e^{-\theta^T x}} hθ(x)=1+e−θTx1

因此,即使更新参数的规则看起来基本相同,但由于假设的定义发生了变化,所以逻辑函数的梯度下降,跟线性回归的梯度下降实际上是两个完全不同的东西

相关推荐
fen_fen8 分钟前
学习笔记(32):matplotlib绘制简单图表-数据分布图
笔记·学习·matplotlib
2401_878624792 小时前
pytorch 自动微分
人工智能·pytorch·python·机器学习
胖达不服输2 小时前
「日拱一码」021 机器学习——特征工程
人工智能·python·机器学习·特征工程
小哥谈3 小时前
论文解析篇 | YOLOv12:以注意力机制为核心的实时目标检测算法
人工智能·深度学习·yolo·目标检测·机器学习·计算机视觉
蓝婷儿3 小时前
Python 机器学习核心入门与实战进阶 Day 4 - 支持向量机(SVM)原理与分类实战
python·机器学习·支持向量机
杰夫贾维斯3 小时前
CentOS Linux 8 的系统部署 Qwen2.5-7B -Instruct-AWQ
linux·运维·人工智能·机器学习·centos
饕餮争锋4 小时前
设计模式笔记_创建型_建造者模式
笔记·设计模式·建造者模式
yzx9910134 小时前
AI大模型平台
大数据·人工智能·深度学习·机器学习
萝卜青今天也要开心4 小时前
2025年上半年软件设计师考后分享
笔记·学习
吃货界的硬件攻城狮5 小时前
【STM32 学习笔记】SPI通信协议
笔记·stm32·学习