逻辑回归(上):函数求导过程自推 LaTex 语法

背景

闲来无事翻了一下之前买的一个机器学习课程及之前记录的网络笔记,发现遇到公式都是截图,甚至是在纸上用笔推导的。重新整理一遍之前逻辑回归函数的学习笔记,主要是为了玩一下 LaTex 语法,写公式挺有意思的。

整理之前三篇笔记汇总如下:

  1. 逻辑回归(上):函数求导过程自推 LaTex 语法
  2. 逻辑回归(中):数学公式学习笔记 LaTeX 版
  3. 逻辑回归(下): Sigmoid 函数的发展历史

逻辑回归函数

逻辑回归的数学函数表达式为:
g ( z ) = 1 1 + e − z g(z)=\frac{1}{1+e^{-z}} g(z)=1+e−z1

它在二维坐标系中的表现为:

因为其外形类似S形状,因而又称为Sigmoid函数。sigmoid,英/'sɪgmɒɪd/n. 乙状结肠(等于sigmoidal);S状弯曲。

导数公式

逻辑回归函数的导数公式为:
g ′ ( z ) = g ( z ) ( ( 1 − g ( z ) ) g^{'}(z)=g(z)((1-g(z)) g′(z)=g(z)((1−g(z))

第一步,确定公式。导数推导过程使用的是商的求导公式:

( u v ) ′ = u ′ v + u v ′ v 2 (\frac{u}{v})^{'}=\frac{u^{'}v+uv^{'}}{v^{2}} (vu)′=v2u′v+uv′

此处: u = 1 u = 1 u=1, v = 1 + e − z v=1+e^{-z} v=1+e−z。

第二步,分别对它们求导: u ′ = 0 u^{'}=0 u′=0, v ′ = e − z v^{'}=e^{-z} v′=e−z 。基本知识:常量的导数是 0,e 的 X 次幂的导数是本身。

第三步,计算数值:
g ′ ( z ) = 0 + e − z ( 1 + e − z ) 2 = e − z ( 1 + e − z ) 2 g^{'}(z)=\frac{0+e^{-z}}{(1+e^{-z})^{2}}=\frac{e^{-z}}{(1+e^{-z})^{2}} g′(z)=(1+e−z)20+e−z=(1+e−z)2e−z

第四步,对分子进行等价变形,先加 1 再减 1,得到:
g ′ ( z ) = 1 + e − z − 1 ( 1 + e − z ) 2 = 1 + e − z ( 1 + e − z ) 2 − 1 ( 1 + e − z ) 2 = 1 1 + e − z − 1 ( 1 + e − z ) 2 g^{'}(z)=\frac{1+e^{-z}-1}{(1+e^{-z})^{2}}=\frac{1+e^{-z}}{(1+e^{-z})^{2}}-\frac{1}{(1+e^{-z})^{2}}=\frac{1}{1+e^{-z}}-\frac{1}{(1+e^{-z})^{2}} g′(z)=(1+e−z)21+e−z−1=(1+e−z)21+e−z−(1+e−z)21=1+e−z1−(1+e−z)21

第五步,代入已知条件 g ( z ) = 1 1 + e − z g(z)=\frac{1}{1+e^{-z}} g(z)=1+e−z1,所以上述公式就成为:
g ′ ( z ) = g ( z ) − ( g ( z ) ) 2 = g ( z ) ( 1 − g ( z ) ) g^{'}(z)=g(z)-({g(z)})^{2}=g(z)(1-g(z)) g′(z)=g(z)−(g(z))2=g(z)(1−g(z))

启示录

当年读书时,不知道高等数学具体在计算机中的应用过程,所以糊里糊涂的。现在看到相关的技术知识,反观公式时,奈何有种时过境迁的感觉,年龄大了,脑容量不够用啊......

相关推荐
LNTON羚通2 小时前
摄像机视频分析软件下载LiteAIServer视频智能分析平台玩手机打电话检测算法技术的实现
算法·目标检测·音视频·监控·视频监控
哭泣的眼泪4083 小时前
解析粗糙度仪在工业制造及材料科学和建筑工程领域的重要性
python·算法·django·virtualenv·pygame
IT古董4 小时前
【机器学习】机器学习中用到的高等数学知识-8. 图论 (Graph Theory)
人工智能·机器学习·图论
Microsoft Word4 小时前
c++基础语法
开发语言·c++·算法
天才在此4 小时前
汽车加油行驶问题-动态规划算法(已在洛谷AC)
算法·动态规划
莫叫石榴姐5 小时前
数据科学与SQL:组距分组分析 | 区间分布问题
大数据·人工智能·sql·深度学习·算法·机器学习·数据挖掘
ChaseDreamRunner6 小时前
迁移学习理论与应用
人工智能·机器学习·迁移学习
茶猫_6 小时前
力扣面试题 - 25 二进制数转字符串
c语言·算法·leetcode·职场和发展
谢眠7 小时前
深度学习day3-自动微分
python·深度学习·机器学习
搏博7 小时前
神经网络问题之一:梯度消失(Vanishing Gradient)
人工智能·机器学习