02 Deep learning神经网络的编程基础 逻辑回归--吴恩达

逻辑回归

逻辑回归是一种用于解决二分类任务(如预测是否是猫咪等)的统计学习方法。尽管名称中包含"回归",但其本质是通过线性回归的变体输出概率值,并使用Sigmoid函数将线性结果映射到[0,1]区间。

以猫咪预测为例

假设单个样本/单张图片为( x \mathbf{x} x, y \mathbf{y} y),特征向量X = x \mathbf{x} x,则 y ^ \hat{y} y^即为X 的预测值, y ^ \hat{y} y^=P(y= y \mathbf{y} y/ x \mathbf{x} x), y ^ \hat{y} y^∈(0,1)。

假设特征权重参数为 w \mathbf{w} w,是一个nx维的向量,则有:
y ^ \hat{y} y^= σ \sigma σ( w ⊤ w^\top w⊤ x \mathcal{x} x+ b \mathcal{b} b)
z \mathcal{z} z = w ⊤ w^\top w⊤ x \mathcal{x} x+ b \mathcal{b} b
y ^ \hat{y} y^= σ ( z ) \sigma(z) σ(z)

Sigmoid函数

Sigmoid函数是一种常用的S型激活函数 ,数学表达式为:
σ ( z ) = 1 1 + e − z \sigma(z) = \frac{1}{1 + e^{-z}} σ(z)=1+e−z1

机器学习便是学习参数 x \mathcal{x} x和 b \mathcal{b} b,使得 y ^ \hat{y} y^尽可能接近实际值 y \mathcal{y} y。

符号惯例介绍

定义一个额外特征向量 x 0 \mathcal{x_0} x0 =1,
y ^ \hat{y} y^= σ \sigma σ( θ T \theta^{T} θT x \mathcal{x} x ),其中 θ 0 \theta_0 θ0充当 b \mathcal{b} b,其余 θ 1 \theta_1 θ1到 θ n x \theta_{nx} θnx充当 w \mathbf{w} w

核心特性
  1. 输出范围 (0,1) ,适合概率映射
  2. 单调性 :全程可导且导数最大值为 0.25 (出现在 (出现在 (出现在x=0处)
  3. 导数特性 : σ ′ ( x ) = σ ( x ) ( 1 − σ ( x ) ) \sigma'(x) = \sigma(x)(1 - \sigma(x)) σ′(x)=σ(x)(1−σ(x)),便于梯度计算
Python实现
python 复制代码
import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

# 支持向量化计算
print(sigmoid(np.array([-1.0, 0.0, 1.0])))  # 输出:[0.2689, 0.5, 0.7311]
典型应用
  1. 逻辑回归中的概率转换
  2. 神经网络隐藏层的激活函数
  3. 强化学习中的动作选择概率
局限说明
  • 深层网络易出现梯度消失(导数值随网络深度指数衰减)
  • 输出不以零为中心可能影响优化效率
  • 现多被ReLU系列函数替代用于隐藏层
相关推荐
宇称不守恒4.039 分钟前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
码字的字节2 小时前
深度学习损失函数的设计哲学:从交叉熵到Huber损失的深入探索
深度学习·交叉熵·huber
凪卄12132 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm
碳酸的唐2 小时前
Inception网络架构:深度学习视觉模型的里程碑
网络·深度学习·架构
AI赋能2 小时前
自动驾驶训练-tub详解
人工智能·深度学习·自动驾驶
seasonsyy2 小时前
1.安装anaconda详细步骤(含安装截图)
python·深度学习·环境配置
deephub2 小时前
AI代理性能提升实战:LangChain+LangGraph内存管理与上下文优化完整指南
人工智能·深度学习·神经网络·langchain·大语言模型·rag
go54631584653 小时前
基于深度学习的食管癌右喉返神经旁淋巴结预测系统研究
图像处理·人工智能·深度学习·神经网络·算法
Blossom.1183 小时前
基于深度学习的图像分类:使用Capsule Networks实现高效分类
人工智能·python·深度学习·神经网络·机器学习·分类·数据挖掘
宇称不守恒4.03 小时前
2025暑期—05神经网络-卷积神经网络
深度学习·神经网络·cnn