深度学习0:数学知识:正态分布1

目录标题

一、一切都从疑问开始

为啥正态分布会关于一条直线左右对称,为啥过了一点导数对称,怎么确定这个直线x是多少。又是那个变量决定这个曲线的胖,瘦。能举例,一步步解释吗。我一点这个公式都看不明白

1、为什么左右对称?对称轴在哪?

对称轴 = 均值 μ(读作 mu)

正态分布有一条竖直的对称轴,这条轴的位置由参数 μ(均值)决定。

  • 如果 μ = 0,曲线关于 x = 0 对称。
  • 如果 μ = 5,曲线关于 x = 5 对称。
  • 如果 μ = -3,曲线关于 x = -3 对称。

举例:

  • 全班考试平均分是 80 分,那么成绩分布大概率关于 x = 80 对称。
  • 一边是考 70 分的人数和考 90 分的人数差不多,这就是对称。

结论:μ 决定对称轴在哪。


2、为什么"过了一点导数对称"?

这句话其实是在说:在对称轴左边和右边,曲线的"斜率"是反过来的。

  • 在对称轴左边:曲线是上升的,斜率为正(+)。
  • 在对称轴右边:曲线是下降的,斜率为负(-)。
  • 在对称轴正中间(x = μ):斜率为 0,是最高点(顶点)。

举例:

假设 μ = 0:

  • x = -1 时,斜率是 +0.24(上升)
  • x = +1 时,斜率是 -0.24(下降)
  • x = 0 时,斜率是 0(顶点)

你看,x = -1 和 x = +1 的斜率,数值一样,符号相反,这就是"导数对称"的意思。

3、什么决定曲线的"胖"和"瘦"?

标准差 σ(读作 sigma)决定曲线的胖瘦。

  • σ 大:曲线矮而胖,数据分散,不集中。
  • σ 小:曲线高而瘦,数据集中,都挤在均值附近。

举例:

  • 班级 A:考试成绩 60~100 分都有,σ 大,曲线胖。
  • 班级 B:考试成绩 78~82 分,大家分数差不多,σ 小,曲线瘦。

结论:σ 决定曲线的胖瘦。σ 越大越胖,越小越瘦。

4、公式拆解

标准正态分布公式:

p ( x ) = 1 2 π σ ⋅ e − ( x − μ ) 2 2 σ 2 p(x) = \frac{1}{\sqrt{2\pi}\sigma} \cdot e^{-\frac{(x-\mu)^2}{2\sigma^2}} p(x)=2π σ1⋅e−2σ2(x−μ)2

我们把它拆成三块看:

第一块: 1 2 π σ \frac{1}{\sqrt{2\pi}\sigma} 2π σ1

  • 这是一个常数,作用是"把曲线下面的总面积压缩成 1"。
  • 因为概率加起来必须是 1,所以需要这个系数来调整高度。
  • σ 越大,这个系数越小,曲线越矮(也就越胖)。

第二块: ( x − μ ) 2 (x - \mu)^2 (x−μ)2

  • 这是"离均值有多远"的平方。
  • 离均值越远,这个值越大。
  • 因为在指数上带负号,所以离得越远,概率越小。

第三块: e − ( x − μ ) 2 2 σ 2 e^{-\frac{(x-\mu)^2}{2\sigma^2}} e−2σ2(x−μ)2

  • 这是指数衰减部分。
  • 离均值越远,指数越负,值越小,曲线就掉下来。
  • σ 在分母上:σ 越大,分母越大,指数衰减越慢,曲线就越胖。

二、看了疑问里面的公式拆解,指数衰减,人蒙了

先看 e − ( x − μ ) 2 2 σ 2 e^{-\frac{(x-\mu)^2}{2\sigma^2}} e−2σ2(x−μ)2 这个部分

e − x e^{-x} e−x 的图像是什么?递增还是递减?

1. 先看 e x e^x ex

e ≈ 2.718 e \approx 2.718 e≈2.718, e x e^x ex 是指数函数。

  • x = 0 → e 0 = 1 x = 0 \rightarrow e^0 = 1 x=0→e0=1
  • x = 1 → e 1 ≈ 2.718 x = 1 \rightarrow e^1 \approx 2.718 x=1→e1≈2.718
  • x = 2 → e 2 ≈ 7.389 x = 2 \rightarrow e^2 \approx 7.389 x=2→e2≈7.389
  • x = − 1 → e − 1 ≈ 0.368 x = -1 \rightarrow e^{-1} \approx 0.368 x=−1→e−1≈0.368
  • x = − 2 → e − 2 ≈ 0.135 x = -2 \rightarrow e^{-2} \approx 0.135 x=−2→e−2≈0.135

图像特点:

  • x x x 越大, e x e^x ex 越大,递增。
  • x x x 越小(负得越多), e x e^x ex 越接近 0,但永远大于 0,永远不会变成负数。
2. 再看 e − x e^{-x} e−x

e − x = 1 e x e^{-x} = \frac{1}{e^x} e−x=ex1,就是把 e x e^x ex 的 x 换成 -x。

  • x = 0 → e 0 = 1 x = 0 \rightarrow e^0 = 1 x=0→e0=1
  • x = 1 → e − 1 ≈ 0.368 x = 1 \rightarrow e^{-1} \approx 0.368 x=1→e−1≈0.368
  • x = 2 → e − 2 ≈ 0.135 x = 2 \rightarrow e^{-2} \approx 0.135 x=2→e−2≈0.135
  • x = − 1 → e 1 ≈ 2.718 x = -1 \rightarrow e^1 \approx 2.718 x=−1→e1≈2.718
  • x = − 2 → e 2 ≈ 7.389 x = -2 \rightarrow e^2 \approx 7.389 x=−2→e2≈7.389

图像特点:

  • x x x 越大, e − x e^{-x} e−x 越小,递减。
  • x x x 越小(负得越多), e − x e^{-x} e−x 越大。
  • 始终大于 0。

3. 关键结论

e − x e^{-x} e−x 是递减函数,永远大于 0,永远不会变成负数或 0。

所以你说的"正态里越是负无穷整体越小"------反了。

正态分布里指数部分是:

e − ( x − μ ) 2 2 σ 2 e^{-\frac{(x-\mu)^2}{2\sigma^2}} e−2σ2(x−μ)2

注意指数里是 负的平方 ,平方永远 ≥ 0 \ge 0 ≥0,所以:

  • ( x − μ ) 2 (x - \mu)^2 (x−μ)2 越大(离均值越远),指数越负, e 负数 e^{负数} e负数 越小。
  • 当 x x x 趋向正无穷或负无穷时, ( x − μ ) 2 (x - \mu)^2 (x−μ)2 都趋向正无穷,指数趋向负无穷, e 负无穷 e^{负无穷} e负无穷 趋向 0。

所以:不管是正无穷还是负无穷,正态分布的两端都趋向 0,中间( x = μ x=\mu x=μ)最大。

三、归一化系数(重点)

p ( x ) = 1 2 π σ ⏟ 第1块:归一化系数 ⋅ e − ( x − μ ) 2 2 σ 2 ⏟ 第2块:指数衰减 p(x) = \underbrace{\frac{1}{\sqrt{2\pi}\sigma}}{\text{第1块:归一化系数}} \cdot \underbrace{e^{-\frac{(x-\mu)^2}{2\sigma^2}}}{\text{第2块:指数衰减}} p(x)=第1块:归一化系数 2π σ1⋅第2块:指数衰减 e−2σ2(x−μ)2

第1块: 1 2 π σ \frac{1}{\sqrt{2\pi}\sigma} 2π σ1

  • 作用: 保证曲线下面积 = 1。
  • 为什么带 σ: σ 越大,原始曲线越宽,面积越大,所以要除以更大的数来压回来。
  • 为什么带 2 π \sqrt{2\pi} 2π : 这是数学推导出来的常数,因为 ∫ − ∞ ∞ e − x 2 d x = π \int_{-\infty}^{\infty} e^{-x^2} dx = \sqrt{\pi} ∫−∞∞e−x2dx=π ,配合 σ 和 2 的系数,最后化简出来就是 2 π σ \sqrt{2\pi}\sigma 2π σ。

还是不明白,这里怎么推导出来根号下2Π?我对这个公式一点不了解,每一步都详细解释由来

经典回答,里面涉及很多前置知识

第一步:先认识一个神奇的函数 e − x 2 e^{-x^2} e−x2

我们先把正态分布里最核心的部分单独拎出来看:

f ( x ) = e − x 2 f(x) = e^{-x^2} f(x)=e−x2

  • 当 x = 0 x = 0 x=0 时, f ( 0 ) = e 0 = 1 f(0) = e^0 = 1 f(0)=e0=1。
  • 当 x x x 变大(无论正负), x 2 x^2 x2 变大, − x 2 -x^2 −x2 变负, e 负数 e^{负数} e负数 变小,趋近于 0。

它的图像就是一条钟形曲线,关于 y 轴对称。

现在问一个关键问题:这条曲线和 x 轴围成的面积是多少?

这里不知道积分:参考前置知识 深度学习0:数学知识:正态分布2(积分,幂函数积分公式)

和

深度学习0:数学知识:正态分布3(积分,指数函数积分公式)

也就是说,计算这个积分:

I = ∫ − ∞ + ∞ e − x 2 d x I = \int_{-\infty}^{+\infty} e^{-x^2} dx I=∫−∞+∞e−x2dx


第二步:这个积分怎么算?(高斯积分的巧妙技巧)

这个积分没法用普通方法直接算,因为 e − x 2 e^{-x^2} e−x2 没有初等原函数。但数学家想了一个巧妙的办法:

把同一个积分平方,变成二重积分。

I 2 = ( ∫ − ∞ + ∞ e − x 2 d x ) ⋅ ( ∫ − ∞ + ∞ e − y 2 d y ) I^2 = \left( \int_{-\infty}^{+\infty} e^{-x^2} dx \right) \cdot \left( \int_{-\infty}^{+\infty} e^{-y^2} dy \right) I2=(∫−∞+∞e−x2dx)⋅(∫−∞+∞e−y2dy)

因为两个积分变量不同(一个是 x,一个是 y),可以合并成一个二重积分:

I 2 = ∫ − ∞ + ∞ ∫ − ∞ + ∞ e − ( x 2 + y 2 ) d x d y I^2 = \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} e^{-(x^2+y^2)} dx dy I2=∫−∞+∞∫−∞+∞e−(x2+y2)dxdy


第三步:换成极坐标

这里不知道直角坐标转极坐标:参考前置知识 blog 深度学习0:数学知识:正态分布4(坐标变换的缩放比例(面积微元变换))

现在把直角坐标 ( x , y ) (x, y) (x,y) 换成极坐标 ( r , θ ) (r, \theta) (r,θ):

  • x 2 + y 2 = r 2 x^2 + y^2 = r^2 x2+y2=r2
  • d x d y = r d r d θ dx dy = r dr d\theta dxdy=rdrdθ
  • r r r 从 0 0 0 到 + ∞ +\infty +∞
  • θ \theta θ 从 0 0 0 到 2 π 2\pi 2π

代入:

I 2 = ∫ 0 2 π ∫ 0 + ∞ e − r 2 ⋅ r d r d θ I^2 = \int_{0}^{2\pi} \int_{0}^{+\infty} e^{-r^2} \cdot r dr d\theta I2=∫02π∫0+∞e−r2⋅rdrdθ


第四步:先对 r 积分

令 u = r 2 u = r^2 u=r2,则 d u = 2 r d r du = 2r dr du=2rdr,即 r d r = d u 2 r dr = \frac{du}{2} rdr=2du。

∫ 0 + ∞ e − r 2 ⋅ r d r = ∫ 0 + ∞ e − u ⋅ d u 2 = 1 2 ∫ 0 + ∞ e − u d u \int_{0}^{+\infty} e^{-r^2} \cdot r dr = \int_{0}^{+\infty} e^{-u} \cdot \frac{du}{2} = \frac{1}{2} \int_{0}^{+\infty} e^{-u} du ∫0+∞e−r2⋅rdr=∫0+∞e−u⋅2du=21∫0+∞e−udu

而 ∫ 0 + ∞ e − u d u = 1 \int_{0}^{+\infty} e^{-u} du = 1 ∫0+∞e−udu=1,这里不知道这个公式回顾前置知识blog 深度学习0:数学知识:正态分布3(积分,指数函数积分公式),所以:

∫ 0 + ∞ e − r 2 ⋅ r d r = 1 2 \int_{0}^{+\infty} e^{-r^2} \cdot r dr = \frac{1}{2} ∫0+∞e−r2⋅rdr=21


第五步:再对 θ \theta θ 积分

I 2 = ∫ 0 2 π 1 2 d θ = 1 2 ⋅ 2 π = π I^2 = \int_{0}^{2\pi} \frac{1}{2} d\theta = \frac{1}{2} \cdot 2\pi = \pi I2=∫02π21dθ=21⋅2π=π

所以:

I 2 = π I^2 = \pi I2=π

I = π I = \sqrt{\pi} I=π

结论:

∫ − ∞ + ∞ e − x 2 d x = π \boxed{\int_{-\infty}^{+\infty} e^{-x^2} dx = \sqrt{\pi}} ∫−∞+∞e−x2dx=π

这就是高斯积分。它是 2 π \sqrt{2\pi} 2π 的来源。


第六步:怎么从 e − x 2 e^{-x^2} e−x2 变到正态分布?(静心仔细看推导)

正态分布的指数部分是:

e − ( x − μ ) 2 2 σ 2 e^{-\frac{(x-\mu)^2}{2\sigma^2}} e−2σ2(x−μ)2

先做变量替换,令 z = x − μ σ z = \frac{x-\mu}{\sigma} z=σx−μ,则 x = μ + σ z x = \mu + \sigma z x=μ+σz, d x = σ d z dx = \sigma dz dx=σdz。

代入积分:

∫ − ∞ + ∞ e − ( x − μ ) 2 2 σ 2 d x = ∫ − ∞ + ∞ e − z 2 2 ⋅ σ d z \int_{-\infty}^{+\infty} e^{-\frac{(x-\mu)^2}{2\sigma^2}} dx = \int_{-\infty}^{+\infty} e^{-\frac{z^2}{2}} \cdot \sigma dz ∫−∞+∞e−2σ2(x−μ)2dx=∫−∞+∞e−2z2⋅σdz

再令 t = z 2 t = \frac{z}{\sqrt{2}} t=2 z,则 z = 2 t z = \sqrt{2}t z=2 t, d z = 2 d t dz = \sqrt{2}dt dz=2 dt:

= σ 2 ∫ − ∞ + ∞ e − t 2 d t = σ 2 ⋅ π = σ 2 π = \sigma\sqrt{2} \int_{-\infty}^{+\infty} e^{-t^2} dt = \sigma\sqrt{2} \cdot \sqrt{\pi} = \sigma\sqrt{2\pi} =σ2 ∫−∞+∞e−t2dt=σ2 ⋅π =σ2π

所以:

∫ − ∞ + ∞ e − ( x − μ ) 2 2 σ 2 d x = σ 2 π \int_{-\infty}^{+\infty} e^{-\frac{(x-\mu)^2}{2\sigma^2}} dx = \sigma\sqrt{2\pi} ∫−∞+∞e−2σ2(x−μ)2dx=σ2π


第七步:为什么要除以 2 π σ \sqrt{2\pi}\sigma 2π σ?

概率密度函数的定义是:曲线下面积必须等于 1。

但我们刚才算出来,原始函数的面积是 σ 2 π \sigma\sqrt{2\pi} σ2π ,不是 1。

所以必须除以这个面积,把它"归一化":

p ( x ) = 1 2 π σ ⋅ e − ( x − μ ) 2 2 σ 2 p(x) = \frac{1}{\sqrt{2\pi}\sigma} \cdot e^{-\frac{(x-\mu)^2}{2\sigma^2}} p(x)=2π σ1⋅e−2σ2(x−μ)2

这样:

∫ − ∞ + ∞ p ( x ) d x = 1 2 π σ ⋅ 2 π σ = 1 \int_{-\infty}^{+\infty} p(x) dx = \frac{1}{\sqrt{2\pi}\sigma} \cdot \sqrt{2\pi}\sigma = 1 ∫−∞+∞p(x)dx=2π σ1⋅2π σ=1

面积恰好等于 1,符合概率定义。


总结
步骤 内容 结果
1 引入 e − x 2 e^{-x^2} e−x2 钟形曲线
2 算它的面积 I = ∫ − ∞ + ∞ e − x 2 d x I = \int_{-\infty}^{+\infty} e^{-x^2} dx I=∫−∞+∞e−x2dx
3 平方变成二重积分 I 2 I^2 I2
4 换极坐标 简化计算
5 算出 I 2 = π I^2 = \pi I2=π I = π I = \sqrt{\pi} I=π
6 代入 σ \sigma σ 和 μ \mu μ 做变量替换 得到 σ 2 π \sigma\sqrt{2\pi} σ2π
7 除以它归一化 得到正态分布公式
一句话总结

2 π \sqrt{2\pi} 2π 不是随便写的,它来自高斯积分 ∫ − ∞ + ∞ e − x 2 d x = π \int_{-\infty}^{+\infty} e^{-x^2} dx = \sqrt{\pi} ∫−∞+∞e−x2dx=π 。前面除以 2 π σ \sqrt{2\pi}\sigma 2π σ,是为了让整个曲线下的面积恰好等于 1,满足概率密度的定义。

相关推荐
-梅15 分钟前
算法(1) 动态规划
算法·动态规划
ting945200029 分钟前
Databox MCP Connectors 技术深度解析:协议架构、集成原理与企业落地实践
人工智能·架构
青少儿编程课堂34 分钟前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:Bellman-Ford与SPFA含负权最短路及负环检测全解析
c++·python·算法·bfs·信息学竞赛
码农飞哥1 小时前
WorkBuddy 两个月没动,今晚测试红了 2 条
人工智能·效率·ai工具·workbuddy
硅谷秋水1 小时前
面向科学的科学AI智能体:任务、架构、评估与挑战综述
人工智能·科技·语言模型
叼烟扛炮1 小时前
[LangChain] 学习笔记(04):手搓 ChatGPT 打字机——流式输出(SSE)与模型初始化选型
人工智能·笔记·chatgpt·langchain
奶油话梅糖2 小时前
2,615 个知识点、3,003 条先修边:6,800 Star 的开源知识图谱,能顺着错题从高中回溯到小学
人工智能·知识图谱
octopus_c2 小时前
STL 之 string:auto 与范围 for、常用接口、模拟实现与深浅拷贝
开发语言·c++·算法
李帅朋2 小时前
INP-Former阅读笔记
笔记·深度学习·计算机视觉