无题
一、先了解似然
核心思想: 根据观测到的结果来估计模型算法中的未知参数
根据抽取样本的结果的概率来预测数据的概率,班级100个人,不知道男女比例。我随机抽取50个, 结果是男女比例是8:2,所以预测整个班级男女比例就是8:2
这是二分类的例子,其中正面概率是θ,要想θ尽可能符合当前现象,所以求导。算出最优θ

二、正态分布
补前置知识, 整个正态分布数据图像和x的面积始终是1.

三、题目

图中的 x 1 , x 2 , . . . , x n x_1, x_2, ..., x_n x1,x2,...,xn 是你已经抽样得到的具体数据(样本值)。
这些值被代入函数里,看看在当前参数下,这组数据出现的"可能性"有多大。
目的是:已知这组数据 x i x_i xi 出现了,反推最有可能导致这个结果的参数 μ \mu μ 是多少。
- 第一步(似然函数) :假设每个 x i x_i xi 独立,那么这 n n n 个数据同时出现的概率密度是它们各自概率密度的乘积,即 L = ∏ f ( x i ) L = \prod f(x_i) L=∏f(xi)。
- 第二步(取对数) :因为连乘很容易让数值小到计算机存不下(下溢),所以取 ln \ln ln,把乘法变成加法。
- 第三步(求导求极值) :因为要求"可能性最大",所以对 μ \mu μ 求导并令导数为 0。
- 最终结论 :算出来 μ ^ = 1 n ∑ x i = x ˉ \hat{\mu} = \frac{1}{n} \sum x_i = \bar{x} μ^=n1∑xi=xˉ。也就是说,正态分布总体均值的最大似然估计,刚好就是样本的算术平均数。
第一步:
∏ i = 1 n \prod_{i=1}^{n} ∏i=1n : n个样本,每个样本概率是 f ( x ; μ ) = 1 2 π e − 1 2 ( x − μ ) 2 f(x; \mu) = \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}(x-\mu)^2} f(x;μ)=2π 1e−21(x−μ)2,所以是累乘这些概率。
公式分两部分 1 2 π \frac{1}{\sqrt{2\pi}} 2π 1 和 e − 1 2 ( x − μ ) 2 e^{-\frac{1}{2}(x-\mu)^2} e−21(x−μ)2 分别累乘 (简单公式: a b n ab^n abn = a n a^n an * b n b^n bn)
得到公式:
L = 1 ( 2 π ) n exp { − 1 2 ∑ i = 1 n ( x i − μ ) 2 } L = \frac{1}{(\sqrt{2\pi})^n} \exp\left\{ -\frac{1}{2} \sum_{i=1}^n (x_i - \mu)^2 \right\} L=(2π )n1exp{−21i=1∑n(xi−μ)2}
第二步:
接下来很重要(看懂下面分析,才能继续推导公式):
对数函数 y = ln ( x ) y = \ln(x) y=ln(x) 是一个严格单调递增函数。
为什么单调递增很有用?
因为单调递增函数有一个绝佳的性质:它不改变原函数的最大值点(极值点)位置。
假设有两个数 A A A 和 B B B,如果 A < B A < B A<B,那么 ln ( A ) < ln ( B ) \ln(A) < \ln(B) ln(A)<ln(B)。
如果原来的似然函数 L ( μ ) L(\mu) L(μ) 在 μ = x ˉ \mu = \bar{x} μ=xˉ 时达到最大值,那么取对数后的 ln L ( μ ) \ln L(\mu) lnL(μ) 也一定在 μ = x ˉ \mu = \bar{x} μ=xˉ 时达到最大值。
结论就是求最大值,两边同时取ln 不影响 (同时连乘变成累加)
2 π \sqrt{2\pi} 2π = ( 2 π ) 1 2 (2\pi)^{\frac{1}{2}} (2π)21
1 ( 2 π ) n \frac{1}{(\sqrt{2\pi})^n} (2π )n1 = ( 2 π ) − n 2 (2\pi)^{-\frac{n}{2}} (2π)−2n
ln L = − n 2 ln ( 2 π ) − 1 2 ∑ i = 1 n ( x i − μ ) 2 \ln L = -\frac{n}{2} \ln(2\pi) - \frac{1}{2} \sum_{i=1}^{n} (x_i - \mu)^2 lnL=−2nln(2π)−21i=1∑n(xi−μ)2
第三步:
因为求导: − n 2 ln ( 2 π ) -\frac{n}{2} \ln(2\pi) −2nln(2π) 是常数,忽略。
求导等于0 : − 1 2 - \frac{1}{2} −21 直接忽略
最终公式
d ln L d μ = ∑ i = 1 n ( x i − μ ) = 0 \frac{d \ln L}{d \mu} = \sum_{i=1}^{n}(x_i - \mu) = 0 dμdlnL=∑i=1n(xi−μ)=0 当 x = u \mathbf{x} = \mathbf{u} x=u 时 概率最大
最终结果:
u \mathbf{u} u 为 x \mathbf{x} x 的均值 μ ^ = 1 n ∑ i = 1 n x i = x ˉ \hat{\mu} = \frac{1}{n} \sum_{i=1}^{n} x_i = \bar{x} μ^=n1∑i=1nxi=xˉ
四、总结
推导过程得出 μ ^ = 1 n ∑ x i \hat{\mu} = \frac{1}{n} \sum x_i μ^=n1∑xi。这里的 x i x_i xi 是样本观测值 (比如具体测出来的身高、体重等具体数值),这个结果就是样本均值 x ˉ \bar{x} xˉ。
- 逻辑是 :我们有一堆数据样本 x 1 , x 2 . . . x_1, x_2... x1,x2...,我们假设它们服从正态分布,但不知道均值 μ \mu μ 是多少。最大似然估计就是找这么一个 μ \mu μ,使得"出现这组数据的概率/可能性"最大。算出来发现,这个 μ \mu μ 刚好等于这些样本的算术平均数。
正态分布的MLE求的是样本 ( x ) (x) (x) 的均值;而多分类的MLE求的是真实标签对应概率 ( p ) (p) (p) 的对数之和(交叉熵)。
两者完全不是一回事。 交叉熵参考blog: 深度学习4番外篇:神经网络学习1:交叉熵误差公式分析