sigmoid 函数与 logit 函数互为反函数 - 从 sigmoid 出发，解出其反函数 = logit
flyfish
已知 p = sigmoid ( x ) p = \operatorname{sigmoid}(x) p=sigmoid(x)，把 x x x 用 p p p 表示出来。
第1步：写出原式
p = 1 1 + e − x p = \frac{1}{1 + e^{-x}} p=1+e−x1
第2步：两边同时取倒数
依据 ：等式两边均不为零（ p ∈ ( 0 , 1 ) p \in (0,1) p∈(0,1)，分母 1 + e − x > 0 1+e^{-x} > 0 1+e−x>0），倒数相等：
1 p = 1 + e − x \frac{1}{p} = 1 + e^{-x} p1=1+e−x
第3步：两边减 1，分离出指数项
1 p − 1 = e − x \frac{1}{p} - 1 = e^{-x} p1−1=e−x
第4步：左边通分
1 − p p = e − x \frac{1 - p}{p} = e^{-x} p1−p=e−x
第5步：两边同时取自然对数 ln ( ⋅ ) \ln(\cdot) ln(⋅)
依据 ：对数恒等式 ln ( e a ) = a \ln(e^a) = a ln(ea)=a：
ln ( 1 − p p ) = ln ( e − x ) \ln\left( \frac{1-p}{p} \right) = \ln\left( e^{-x} \right) ln(p1−p)=ln(e−x)
右边化简：
ln ( 1 − p p ) = − x \ln\left( \frac{1-p}{p} \right) = -x ln(p1−p)=−x
第6步：两边同乘 -1
x = − ln ( 1 − p p ) x = -\ln\left( \frac{1-p}{p} \right) x=−ln(p1−p)
把 − ln ( 1 − p p ) -\ln\left( \frac{1-p}{p} \right) −ln(p1−p) 看成 ( − 1 ) ⋅ ln ( 1 − p p ) (-1) \cdot \ln\left( \frac{1-p}{p} \right) (−1)⋅ln(p1−p)，套用公式 k ⋅ ln ( M ) = ln ( M k ) k\cdot\ln(M) = \ln(M^k) k⋅ln(M)=ln(Mk)：
系数 k = − 1 k = -1 k=−1
真数 M = 1 − p p M = \frac{1-p}{p} M=p1−p
代入法则得：
( − 1 ) ⋅ ln ( 1 − p p ) = ln ( ( 1 − p p ) − 1 ) (-1) \cdot \ln\left( \frac{1-p}{p} \right) = \ln\left( \left( \frac{1-p}{p} \right)^{-1} \right) (−1)⋅ln(p1−p)=ln((p1−p)−1)
再根据负指数幂等于倒数， ( 1 − p p ) − 1 = p 1 − p \left( \frac{1-p}{p} \right)^{-1} = \frac{p}{1-p} (p1−p)−1=1−pp，就得到了 logit 的标准形式。 需要看的 幂的对数运算
第7步：利用对数性质化简
依据 ：对数运算法则 − ln ( a b ) = ln ( b a ) -\ln\left(\frac{a}{b}\right) = \ln\left(\frac{b}{a}\right) −ln(ba)=ln(ab)：
x = ln ( p 1 − p ) = logit ( p ) x = \ln\left( \frac{p}{1-p} \right) = \operatorname{logit}(p) x=ln(1−pp)=logit(p)