目录标题
-
-
- 一、一切都从疑问开始
- 二、看了疑问里面的公式拆解,指数衰减,人蒙了
-
- [1. 先看 e x e^x ex](#1. 先看 e x e^x ex)
- [2. 再看 e − x e^{-x} e−x](#2. 再看 e − x e^{-x} e−x)
- [3. 关键结论](#3. 关键结论)
- 三、归一化系数(重点)
-
- [第一步:先认识一个神奇的函数 e − x 2 e^{-x^2} e−x2](#第一步:先认识一个神奇的函数 e − x 2 e{-x2} e−x2)
- 第二步:这个积分怎么算?(高斯积分的巧妙技巧)
- 第三步:换成极坐标
- [第四步:先对 r 积分](#第四步:先对 r 积分)
- [第五步:再对 θ \theta θ 积分](#第五步:再对 θ \theta θ 积分)
- [第六步:怎么从 e − x 2 e^{-x^2} e−x2 变到正态分布?(静心仔细看推导)](#第六步:怎么从 e − x 2 e{-x2} e−x2 变到正态分布?(静心仔细看推导))
- [第七步:为什么要除以 2 π σ \sqrt{2\pi}\sigma 2π σ?](#第七步:为什么要除以 2 π σ \sqrt{2\pi}\sigma 2π σ?)
- 总结
- 一句话总结
-
一、一切都从疑问开始
为啥正态分布会关于一条直线左右对称,为啥过了一点导数对称,怎么确定这个直线x是多少。又是那个变量决定这个曲线的胖,瘦。能举例,一步步解释吗。我一点这个公式都看不明白
1、为什么左右对称?对称轴在哪?
对称轴 = 均值 μ(读作 mu)
正态分布有一条竖直的对称轴,这条轴的位置由参数 μ(均值)决定。
- 如果 μ = 0,曲线关于 x = 0 对称。
- 如果 μ = 5,曲线关于 x = 5 对称。
- 如果 μ = -3,曲线关于 x = -3 对称。
举例:
- 全班考试平均分是 80 分,那么成绩分布大概率关于 x = 80 对称。
- 一边是考 70 分的人数和考 90 分的人数差不多,这就是对称。
结论:μ 决定对称轴在哪。
2、为什么"过了一点导数对称"?
这句话其实是在说:在对称轴左边和右边,曲线的"斜率"是反过来的。
- 在对称轴左边:曲线是上升的,斜率为正(+)。
- 在对称轴右边:曲线是下降的,斜率为负(-)。
- 在对称轴正中间(x = μ):斜率为 0,是最高点(顶点)。
举例:
假设 μ = 0:
- x = -1 时,斜率是 +0.24(上升)
- x = +1 时,斜率是 -0.24(下降)
- x = 0 时,斜率是 0(顶点)
你看,x = -1 和 x = +1 的斜率,数值一样,符号相反,这就是"导数对称"的意思。
3、什么决定曲线的"胖"和"瘦"?
标准差 σ(读作 sigma)决定曲线的胖瘦。
- σ 大:曲线矮而胖,数据分散,不集中。
- σ 小:曲线高而瘦,数据集中,都挤在均值附近。
举例:
- 班级 A:考试成绩 60~100 分都有,σ 大,曲线胖。
- 班级 B:考试成绩 78~82 分,大家分数差不多,σ 小,曲线瘦。
结论:σ 决定曲线的胖瘦。σ 越大越胖,越小越瘦。
4、公式拆解
标准正态分布公式:
p ( x ) = 1 2 π σ ⋅ e − ( x − μ ) 2 2 σ 2 p(x) = \frac{1}{\sqrt{2\pi}\sigma} \cdot e^{-\frac{(x-\mu)^2}{2\sigma^2}} p(x)=2π σ1⋅e−2σ2(x−μ)2
我们把它拆成三块看:
第一块: 1 2 π σ \frac{1}{\sqrt{2\pi}\sigma} 2π σ1
- 这是一个常数,作用是"把曲线下面的总面积压缩成 1"。
- 因为概率加起来必须是 1,所以需要这个系数来调整高度。
- σ 越大,这个系数越小,曲线越矮(也就越胖)。
第二块: ( x − μ ) 2 (x - \mu)^2 (x−μ)2
- 这是"离均值有多远"的平方。
- 离均值越远,这个值越大。
- 因为在指数上带负号,所以离得越远,概率越小。
第三块: e − ( x − μ ) 2 2 σ 2 e^{-\frac{(x-\mu)^2}{2\sigma^2}} e−2σ2(x−μ)2
- 这是指数衰减部分。
- 离均值越远,指数越负,值越小,曲线就掉下来。
- σ 在分母上:σ 越大,分母越大,指数衰减越慢,曲线就越胖。
二、看了疑问里面的公式拆解,指数衰减,人蒙了
先看 e − ( x − μ ) 2 2 σ 2 e^{-\frac{(x-\mu)^2}{2\sigma^2}} e−2σ2(x−μ)2 这个部分
e − x e^{-x} e−x 的图像是什么?递增还是递减?
1. 先看 e x e^x ex
e ≈ 2.718 e \approx 2.718 e≈2.718, e x e^x ex 是指数函数。
- x = 0 → e 0 = 1 x = 0 \rightarrow e^0 = 1 x=0→e0=1
- x = 1 → e 1 ≈ 2.718 x = 1 \rightarrow e^1 \approx 2.718 x=1→e1≈2.718
- x = 2 → e 2 ≈ 7.389 x = 2 \rightarrow e^2 \approx 7.389 x=2→e2≈7.389
- x = − 1 → e − 1 ≈ 0.368 x = -1 \rightarrow e^{-1} \approx 0.368 x=−1→e−1≈0.368
- x = − 2 → e − 2 ≈ 0.135 x = -2 \rightarrow e^{-2} \approx 0.135 x=−2→e−2≈0.135
图像特点:
- x x x 越大, e x e^x ex 越大,递增。
- x x x 越小(负得越多), e x e^x ex 越接近 0,但永远大于 0,永远不会变成负数。
2. 再看 e − x e^{-x} e−x
e − x = 1 e x e^{-x} = \frac{1}{e^x} e−x=ex1,就是把 e x e^x ex 的 x 换成 -x。
- x = 0 → e 0 = 1 x = 0 \rightarrow e^0 = 1 x=0→e0=1
- x = 1 → e − 1 ≈ 0.368 x = 1 \rightarrow e^{-1} \approx 0.368 x=1→e−1≈0.368
- x = 2 → e − 2 ≈ 0.135 x = 2 \rightarrow e^{-2} \approx 0.135 x=2→e−2≈0.135
- x = − 1 → e 1 ≈ 2.718 x = -1 \rightarrow e^1 \approx 2.718 x=−1→e1≈2.718
- x = − 2 → e 2 ≈ 7.389 x = -2 \rightarrow e^2 \approx 7.389 x=−2→e2≈7.389
图像特点:
- x x x 越大, e − x e^{-x} e−x 越小,递减。
- x x x 越小(负得越多), e − x e^{-x} e−x 越大。
- 始终大于 0。
3. 关键结论
e − x e^{-x} e−x 是递减函数,永远大于 0,永远不会变成负数或 0。
所以你说的"正态里越是负无穷整体越小"------反了。
正态分布里指数部分是:
e − ( x − μ ) 2 2 σ 2 e^{-\frac{(x-\mu)^2}{2\sigma^2}} e−2σ2(x−μ)2
注意指数里是 负的平方 ,平方永远 ≥ 0 \ge 0 ≥0,所以:
- ( x − μ ) 2 (x - \mu)^2 (x−μ)2 越大(离均值越远),指数越负, e 负数 e^{负数} e负数 越小。
- 当 x x x 趋向正无穷或负无穷时, ( x − μ ) 2 (x - \mu)^2 (x−μ)2 都趋向正无穷,指数趋向负无穷, e 负无穷 e^{负无穷} e负无穷 趋向 0。
所以:不管是正无穷还是负无穷,正态分布的两端都趋向 0,中间( x = μ x=\mu x=μ)最大。
三、归一化系数(重点)
p ( x ) = 1 2 π σ ⏟ 第1块:归一化系数 ⋅ e − ( x − μ ) 2 2 σ 2 ⏟ 第2块:指数衰减 p(x) = \underbrace{\frac{1}{\sqrt{2\pi}\sigma}}{\text{第1块:归一化系数}} \cdot \underbrace{e^{-\frac{(x-\mu)^2}{2\sigma^2}}}{\text{第2块:指数衰减}} p(x)=第1块:归一化系数 2π σ1⋅第2块:指数衰减 e−2σ2(x−μ)2
第1块: 1 2 π σ \frac{1}{\sqrt{2\pi}\sigma} 2π σ1
- 作用: 保证曲线下面积 = 1。
- 为什么带 σ: σ 越大,原始曲线越宽,面积越大,所以要除以更大的数来压回来。
- 为什么带 2 π \sqrt{2\pi} 2π : 这是数学推导出来的常数,因为 ∫ − ∞ ∞ e − x 2 d x = π \int_{-\infty}^{\infty} e^{-x^2} dx = \sqrt{\pi} ∫−∞∞e−x2dx=π ,配合 σ 和 2 的系数,最后化简出来就是 2 π σ \sqrt{2\pi}\sigma 2π σ。
还是不明白,这里怎么推导出来根号下2Π?我对这个公式一点不了解,每一步都详细解释由来
经典回答,里面涉及很多前置知识
第一步:先认识一个神奇的函数 e − x 2 e^{-x^2} e−x2
我们先把正态分布里最核心的部分单独拎出来看:
f ( x ) = e − x 2 f(x) = e^{-x^2} f(x)=e−x2
- 当 x = 0 x = 0 x=0 时, f ( 0 ) = e 0 = 1 f(0) = e^0 = 1 f(0)=e0=1。
- 当 x x x 变大(无论正负), x 2 x^2 x2 变大, − x 2 -x^2 −x2 变负, e 负数 e^{负数} e负数 变小,趋近于 0。
它的图像就是一条钟形曲线,关于 y 轴对称。
现在问一个关键问题:这条曲线和 x 轴围成的面积是多少?
这里不知道积分:参考前置知识 深度学习0:数学知识:正态分布2(积分,幂函数积分公式)
和
深度学习0:数学知识:正态分布3(积分,指数函数积分公式)
也就是说,计算这个积分:
I = ∫ − ∞ + ∞ e − x 2 d x I = \int_{-\infty}^{+\infty} e^{-x^2} dx I=∫−∞+∞e−x2dx
第二步:这个积分怎么算?(高斯积分的巧妙技巧)
这个积分没法用普通方法直接算,因为 e − x 2 e^{-x^2} e−x2 没有初等原函数。但数学家想了一个巧妙的办法:
把同一个积分平方,变成二重积分。
I 2 = ( ∫ − ∞ + ∞ e − x 2 d x ) ⋅ ( ∫ − ∞ + ∞ e − y 2 d y ) I^2 = \left( \int_{-\infty}^{+\infty} e^{-x^2} dx \right) \cdot \left( \int_{-\infty}^{+\infty} e^{-y^2} dy \right) I2=(∫−∞+∞e−x2dx)⋅(∫−∞+∞e−y2dy)
因为两个积分变量不同(一个是 x,一个是 y),可以合并成一个二重积分:
I 2 = ∫ − ∞ + ∞ ∫ − ∞ + ∞ e − ( x 2 + y 2 ) d x d y I^2 = \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} e^{-(x^2+y^2)} dx dy I2=∫−∞+∞∫−∞+∞e−(x2+y2)dxdy
第三步:换成极坐标
这里不知道直角坐标转极坐标:参考前置知识 blog 深度学习0:数学知识:正态分布4(坐标变换的缩放比例(面积微元变换))
现在把直角坐标 ( x , y ) (x, y) (x,y) 换成极坐标 ( r , θ ) (r, \theta) (r,θ):
- x 2 + y 2 = r 2 x^2 + y^2 = r^2 x2+y2=r2
- d x d y = r d r d θ dx dy = r dr d\theta dxdy=rdrdθ
- r r r 从 0 0 0 到 + ∞ +\infty +∞
- θ \theta θ 从 0 0 0 到 2 π 2\pi 2π
代入:
I 2 = ∫ 0 2 π ∫ 0 + ∞ e − r 2 ⋅ r d r d θ I^2 = \int_{0}^{2\pi} \int_{0}^{+\infty} e^{-r^2} \cdot r dr d\theta I2=∫02π∫0+∞e−r2⋅rdrdθ
第四步:先对 r 积分
令 u = r 2 u = r^2 u=r2,则 d u = 2 r d r du = 2r dr du=2rdr,即 r d r = d u 2 r dr = \frac{du}{2} rdr=2du。
∫ 0 + ∞ e − r 2 ⋅ r d r = ∫ 0 + ∞ e − u ⋅ d u 2 = 1 2 ∫ 0 + ∞ e − u d u \int_{0}^{+\infty} e^{-r^2} \cdot r dr = \int_{0}^{+\infty} e^{-u} \cdot \frac{du}{2} = \frac{1}{2} \int_{0}^{+\infty} e^{-u} du ∫0+∞e−r2⋅rdr=∫0+∞e−u⋅2du=21∫0+∞e−udu
而 ∫ 0 + ∞ e − u d u = 1 \int_{0}^{+\infty} e^{-u} du = 1 ∫0+∞e−udu=1,这里不知道这个公式回顾前置知识blog 深度学习0:数学知识:正态分布3(积分,指数函数积分公式),所以:
∫ 0 + ∞ e − r 2 ⋅ r d r = 1 2 \int_{0}^{+\infty} e^{-r^2} \cdot r dr = \frac{1}{2} ∫0+∞e−r2⋅rdr=21
第五步:再对 θ \theta θ 积分
I 2 = ∫ 0 2 π 1 2 d θ = 1 2 ⋅ 2 π = π I^2 = \int_{0}^{2\pi} \frac{1}{2} d\theta = \frac{1}{2} \cdot 2\pi = \pi I2=∫02π21dθ=21⋅2π=π
所以:
I 2 = π I^2 = \pi I2=π
I = π I = \sqrt{\pi} I=π
结论:
∫ − ∞ + ∞ e − x 2 d x = π \boxed{\int_{-\infty}^{+\infty} e^{-x^2} dx = \sqrt{\pi}} ∫−∞+∞e−x2dx=π
这就是高斯积分。它是 2 π \sqrt{2\pi} 2π 的来源。
第六步:怎么从 e − x 2 e^{-x^2} e−x2 变到正态分布?(静心仔细看推导)
正态分布的指数部分是:
e − ( x − μ ) 2 2 σ 2 e^{-\frac{(x-\mu)^2}{2\sigma^2}} e−2σ2(x−μ)2
先做变量替换,令 z = x − μ σ z = \frac{x-\mu}{\sigma} z=σx−μ,则 x = μ + σ z x = \mu + \sigma z x=μ+σz, d x = σ d z dx = \sigma dz dx=σdz。
代入积分:
∫ − ∞ + ∞ e − ( x − μ ) 2 2 σ 2 d x = ∫ − ∞ + ∞ e − z 2 2 ⋅ σ d z \int_{-\infty}^{+\infty} e^{-\frac{(x-\mu)^2}{2\sigma^2}} dx = \int_{-\infty}^{+\infty} e^{-\frac{z^2}{2}} \cdot \sigma dz ∫−∞+∞e−2σ2(x−μ)2dx=∫−∞+∞e−2z2⋅σdz
再令 t = z 2 t = \frac{z}{\sqrt{2}} t=2 z,则 z = 2 t z = \sqrt{2}t z=2 t, d z = 2 d t dz = \sqrt{2}dt dz=2 dt:
= σ 2 ∫ − ∞ + ∞ e − t 2 d t = σ 2 ⋅ π = σ 2 π = \sigma\sqrt{2} \int_{-\infty}^{+\infty} e^{-t^2} dt = \sigma\sqrt{2} \cdot \sqrt{\pi} = \sigma\sqrt{2\pi} =σ2 ∫−∞+∞e−t2dt=σ2 ⋅π =σ2π
所以:
∫ − ∞ + ∞ e − ( x − μ ) 2 2 σ 2 d x = σ 2 π \int_{-\infty}^{+\infty} e^{-\frac{(x-\mu)^2}{2\sigma^2}} dx = \sigma\sqrt{2\pi} ∫−∞+∞e−2σ2(x−μ)2dx=σ2π
第七步:为什么要除以 2 π σ \sqrt{2\pi}\sigma 2π σ?
概率密度函数的定义是:曲线下面积必须等于 1。
但我们刚才算出来,原始函数的面积是 σ 2 π \sigma\sqrt{2\pi} σ2π ,不是 1。
所以必须除以这个面积,把它"归一化":
p ( x ) = 1 2 π σ ⋅ e − ( x − μ ) 2 2 σ 2 p(x) = \frac{1}{\sqrt{2\pi}\sigma} \cdot e^{-\frac{(x-\mu)^2}{2\sigma^2}} p(x)=2π σ1⋅e−2σ2(x−μ)2
这样:
∫ − ∞ + ∞ p ( x ) d x = 1 2 π σ ⋅ 2 π σ = 1 \int_{-\infty}^{+\infty} p(x) dx = \frac{1}{\sqrt{2\pi}\sigma} \cdot \sqrt{2\pi}\sigma = 1 ∫−∞+∞p(x)dx=2π σ1⋅2π σ=1
面积恰好等于 1,符合概率定义。
总结
| 步骤 | 内容 | 结果 |
|---|---|---|
| 1 | 引入 e − x 2 e^{-x^2} e−x2 | 钟形曲线 |
| 2 | 算它的面积 | I = ∫ − ∞ + ∞ e − x 2 d x I = \int_{-\infty}^{+\infty} e^{-x^2} dx I=∫−∞+∞e−x2dx |
| 3 | 平方变成二重积分 | I 2 I^2 I2 |
| 4 | 换极坐标 | 简化计算 |
| 5 | 算出 I 2 = π I^2 = \pi I2=π | I = π I = \sqrt{\pi} I=π |
| 6 | 代入 σ \sigma σ 和 μ \mu μ 做变量替换 | 得到 σ 2 π \sigma\sqrt{2\pi} σ2π |
| 7 | 除以它归一化 | 得到正态分布公式 |
一句话总结
2 π \sqrt{2\pi} 2π 不是随便写的,它来自高斯积分 ∫ − ∞ + ∞ e − x 2 d x = π \int_{-\infty}^{+\infty} e^{-x^2} dx = \sqrt{\pi} ∫−∞+∞e−x2dx=π 。前面除以 2 π σ \sqrt{2\pi}\sigma 2π σ,是为了让整个曲线下的面积恰好等于 1,满足概率密度的定义。