逻辑回归(上):函数求导过程自推 LaTex 语法

背景

闲来无事翻了一下之前买的一个机器学习课程及之前记录的网络笔记,发现遇到公式都是截图,甚至是在纸上用笔推导的。重新整理一遍之前逻辑回归函数的学习笔记,主要是为了玩一下 LaTex 语法,写公式挺有意思的。

整理之前三篇笔记汇总如下:

  1. 逻辑回归(上):函数求导过程自推 LaTex 语法
  2. 逻辑回归(中):数学公式学习笔记 LaTeX 版
  3. 逻辑回归(下): Sigmoid 函数的发展历史

逻辑回归函数

逻辑回归的数学函数表达式为:
g ( z ) = 1 1 + e − z g(z)=\frac{1}{1+e^{-z}} g(z)=1+e−z1

它在二维坐标系中的表现为:

因为其外形类似S形状,因而又称为Sigmoid函数。sigmoid,英/'sɪgmɒɪd/n. 乙状结肠(等于sigmoidal);S状弯曲。

导数公式

逻辑回归函数的导数公式为:
g ′ ( z ) = g ( z ) ( ( 1 − g ( z ) ) g^{'}(z)=g(z)((1-g(z)) g′(z)=g(z)((1−g(z))

第一步,确定公式。导数推导过程使用的是商的求导公式:

( u v ) ′ = u ′ v + u v ′ v 2 (\frac{u}{v})^{'}=\frac{u^{'}v+uv^{'}}{v^{2}} (vu)′=v2u′v+uv′

此处: u = 1 u = 1 u=1, v = 1 + e − z v=1+e^{-z} v=1+e−z。

第二步,分别对它们求导: u ′ = 0 u^{'}=0 u′=0, v ′ = e − z v^{'}=e^{-z} v′=e−z 。基本知识:常量的导数是 0,e 的 X 次幂的导数是本身。

第三步,计算数值:
g ′ ( z ) = 0 + e − z ( 1 + e − z ) 2 = e − z ( 1 + e − z ) 2 g^{'}(z)=\frac{0+e^{-z}}{(1+e^{-z})^{2}}=\frac{e^{-z}}{(1+e^{-z})^{2}} g′(z)=(1+e−z)20+e−z=(1+e−z)2e−z

第四步,对分子进行等价变形,先加 1 再减 1,得到:
g ′ ( z ) = 1 + e − z − 1 ( 1 + e − z ) 2 = 1 + e − z ( 1 + e − z ) 2 − 1 ( 1 + e − z ) 2 = 1 1 + e − z − 1 ( 1 + e − z ) 2 g^{'}(z)=\frac{1+e^{-z}-1}{(1+e^{-z})^{2}}=\frac{1+e^{-z}}{(1+e^{-z})^{2}}-\frac{1}{(1+e^{-z})^{2}}=\frac{1}{1+e^{-z}}-\frac{1}{(1+e^{-z})^{2}} g′(z)=(1+e−z)21+e−z−1=(1+e−z)21+e−z−(1+e−z)21=1+e−z1−(1+e−z)21

第五步,代入已知条件 g ( z ) = 1 1 + e − z g(z)=\frac{1}{1+e^{-z}} g(z)=1+e−z1,所以上述公式就成为:
g ′ ( z ) = g ( z ) − ( g ( z ) ) 2 = g ( z ) ( 1 − g ( z ) ) g^{'}(z)=g(z)-({g(z)})^{2}=g(z)(1-g(z)) g′(z)=g(z)−(g(z))2=g(z)(1−g(z))

启示录

当年读书时,不知道高等数学具体在计算机中的应用过程,所以糊里糊涂的。现在看到相关的技术知识,反观公式时,奈何有种时过境迁的感觉,年龄大了,脑容量不够用啊......

相关推荐
杜杜的man6 分钟前
【go从零单排】迭代器(Iterators)
开发语言·算法·golang
幻风_huanfeng16 分钟前
线性代数中的核心数学知识
人工智能·机器学习
小沈熬夜秃头中୧⍤⃝22 分钟前
【贪心算法】No.1---贪心算法(1)
算法·贪心算法
木向1 小时前
leetcode92:反转链表||
数据结构·c++·算法·leetcode·链表
阿阿越1 小时前
算法每日练 -- 双指针篇(持续更新中)
数据结构·c++·算法
skaiuijing1 小时前
Sparrow系列拓展篇:对调度层进行抽象并引入IPC机制信号量
c语言·算法·操作系统·调度算法·操作系统内核
IT古董1 小时前
【机器学习】决定系数(R²:Coefficient of Determination)
人工智能·python·机器学习
Star Patrick1 小时前
算法训练(leetcode)二刷第十九天 | *39. 组合总和、*40. 组合总和 II、*131. 分割回文串
python·算法·leetcode
武子康3 小时前
大数据-213 数据挖掘 机器学习理论 - KMeans Python 实现 距离计算函数 质心函数 聚类函数
大数据·人工智能·python·机器学习·数据挖掘·scikit-learn·kmeans
武子康3 小时前
大数据-214 数据挖掘 机器学习理论 - KMeans Python 实现 算法验证 sklearn n_clusters labels
大数据·人工智能·python·深度学习·算法·机器学习·数据挖掘