深度学习0:数学知识:最大似然推导过程

无题

一、先了解似然

核心思想: 根据观测到的结果来估计模型算法中的未知参数

根据抽取样本的结果的概率来预测数据的概率,班级100个人,不知道男女比例。我随机抽取50个, 结果是男女比例是8:2,所以预测整个班级男女比例就是8:2

这是二分类的例子,其中正面概率是θ,要想θ尽可能符合当前现象,所以求导。算出最优θ

二、正态分布

补前置知识, 整个正态分布数据图像和x的面积始终是1.

三、题目

图中的 x 1 , x 2 , . . . , x n x_1, x_2, ..., x_n x1,x2,...,xn 是你已经抽样得到的具体数据(样本值)。

这些值被代入函数里,看看在当前参数下,这组数据出现的"可能性"有多大。

目的是:已知这组数据 x i x_i xi 出现了,反推最有可能导致这个结果的参数 μ \mu μ 是多少。

  • 第一步(似然函数) :假设每个 x i x_i xi 独立,那么这 n n n 个数据同时出现的概率密度是它们各自概率密度的乘积,即 L = ∏ f ( x i ) L = \prod f(x_i) L=∏f(xi)。
  • 第二步(取对数) :因为连乘很容易让数值小到计算机存不下(下溢),所以取 ln ⁡ \ln ln,把乘法变成加法。
  • 第三步(求导求极值) :因为要求"可能性最大",所以对 μ \mu μ 求导并令导数为 0。
  • 最终结论 :算出来 μ ^ = 1 n ∑ x i = x ˉ \hat{\mu} = \frac{1}{n} \sum x_i = \bar{x} μ^=n1∑xi=xˉ。也就是说,正态分布总体均值的最大似然估计,刚好就是样本的算术平均数。

第一步:

∏ i = 1 n \prod_{i=1}^{n} ∏i=1n : n个样本,每个样本概率是 f ( x ; μ ) = 1 2 π e − 1 2 ( x − μ ) 2 f(x; \mu) = \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}(x-\mu)^2} f(x;μ)=2π 1e−21(x−μ)2,所以是累乘这些概率。

公式分两部分 1 2 π \frac{1}{\sqrt{2\pi}} 2π 1 和 e − 1 2 ( x − μ ) 2 e^{-\frac{1}{2}(x-\mu)^2} e−21(x−μ)2 分别累乘 (简单公式: a b n ab^n abn = a n a^n an * b n b^n bn)

得到公式:

L = 1 ( 2 π ) n exp ⁡ { − 1 2 ∑ i = 1 n ( x i − μ ) 2 } L = \frac{1}{(\sqrt{2\pi})^n} \exp\left\{ -\frac{1}{2} \sum_{i=1}^n (x_i - \mu)^2 \right\} L=(2π )n1exp{−21i=1∑n(xi−μ)2}

第二步:

接下来很重要(看懂下面分析,才能继续推导公式):

对数函数 y = ln ⁡ ( x ) y = \ln(x) y=ln(x) 是一个严格单调递增函数。

为什么单调递增很有用?

因为单调递增函数有一个绝佳的性质:它不改变原函数的最大值点(极值点)位置。

假设有两个数 A A A 和 B B B,如果 A < B A < B A<B,那么 ln ⁡ ( A ) < ln ⁡ ( B ) \ln(A) < \ln(B) ln(A)<ln(B)。

如果原来的似然函数 L ( μ ) L(\mu) L(μ) 在 μ = x ˉ \mu = \bar{x} μ=xˉ 时达到最大值,那么取对数后的 ln ⁡ L ( μ ) \ln L(\mu) lnL(μ) 也一定在 μ = x ˉ \mu = \bar{x} μ=xˉ 时达到最大值。

结论就是求最大值,两边同时取ln 不影响 (同时连乘变成累加)

2 π \sqrt{2\pi} 2π = ( 2 π ) 1 2 (2\pi)^{\frac{1}{2}} (2π)21

1 ( 2 π ) n \frac{1}{(\sqrt{2\pi})^n} (2π )n1 = ( 2 π ) − n 2 (2\pi)^{-\frac{n}{2}} (2π)−2n

ln ⁡ L = − n 2 ln ⁡ ( 2 π ) − 1 2 ∑ i = 1 n ( x i − μ ) 2 \ln L = -\frac{n}{2} \ln(2\pi) - \frac{1}{2} \sum_{i=1}^{n} (x_i - \mu)^2 lnL=−2nln(2π)−21i=1∑n(xi−μ)2

第三步:

因为求导: − n 2 ln ⁡ ( 2 π ) -\frac{n}{2} \ln(2\pi) −2nln(2π) 是常数,忽略。

求导等于0 : − 1 2 - \frac{1}{2} −21 直接忽略

最终公式

d ln ⁡ L d μ = ∑ i = 1 n ( x i − μ ) = 0 \frac{d \ln L}{d \mu} = \sum_{i=1}^{n}(x_i - \mu) = 0 dμdlnL=∑i=1n(xi−μ)=0 当 x = u \mathbf{x} = \mathbf{u} x=u 时 概率最大

最终结果:

u \mathbf{u} u 为 x \mathbf{x} x 的均值 μ ^ = 1 n ∑ i = 1 n x i = x ˉ \hat{\mu} = \frac{1}{n} \sum_{i=1}^{n} x_i = \bar{x} μ^=n1∑i=1nxi=xˉ

四、总结

推导过程得出 μ ^ = 1 n ∑ x i \hat{\mu} = \frac{1}{n} \sum x_i μ^=n1∑xi。这里的 x i x_i xi 是样本观测值 (比如具体测出来的身高、体重等具体数值),这个结果就是样本均值 x ˉ \bar{x} xˉ。

  • 逻辑是 :我们有一堆数据样本 x 1 , x 2 . . . x_1, x_2... x1,x2...,我们假设它们服从正态分布,但不知道均值 μ \mu μ 是多少。最大似然估计就是找这么一个 μ \mu μ,使得"出现这组数据的概率/可能性"最大。算出来发现,这个 μ \mu μ 刚好等于这些样本的算术平均数。

正态分布的MLE求的是样本 ( x ) (x) (x) 的均值;而多分类的MLE求的是真实标签对应概率 ( p ) (p) (p) 的对数之和(交叉熵)。

两者完全不是一回事。 交叉熵参考blog: 深度学习4番外篇:神经网络学习1:交叉熵误差公式分析

相关推荐
oil欧哟13 分钟前
从产品经理视角拆解 DeepSeek Super-agent:双层路由与异步调度架构
人工智能
张张123y22 分钟前
个人助手型 Agent 的六个工程细节:Hermes 与 OpenClaw 的审批、委派、上下文与调度
网络·人工智能·开源·后端开发·ai agent
Dawson Zhu1 小时前
【模型量化⑦】W4A8与GPTQ-Int4:极限压缩与MLC-LLM部署实战
人工智能·语言模型·架构·aigc·agi
林中漫步—柚1 小时前
概率论全概率公式与贝叶斯公式:步骤、例题、易错点
考研·概率论·全概率公式·贝叶斯公式·考研数学
千寻技术帮1 小时前
50055_基于AI的互帮互助小程序(源码+文档+数据库脚本+部署教程)
数据库·人工智能·小程序·毕业设计·springboot·课程设计
天树星智源1 小时前
KV 剪枝的同一个误差,模型确定时只改 1.4% 的 token,不确定时改 65%:接上不确定性,AIME25 端到端快 1.27 倍
人工智能·大模型
AI英德西牛仔2 小时前
PC 用户的效率革命:腾讯元宝导出 Word 指令与“AI 导出鸭”的底层逻辑
人工智能·word·excel·deepseek·ai导出鸭
Flynn Liang2 小时前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体
VIP_CQCRE11 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商