【推导过程】常用连续分布的数学期望、方差、特征函数

文章目录

• 相关教程
• 相关文献
• 常用连续分布的数学期望&方差&特征函数
• 正态分布
• • 标准正态分布
  • 一般正态分布的标准化
  • 数学期望
  • 方差
  • [3 σ 3\sigma 3σ原则](#3 σ 3\sigma 3σ原则)
• 均匀分布
• • 数学期望
  • 方差
• 指数分布
• • 无记忆性
  • 数学期望
  • 方差
• 伽马分布
• • 两个特例
  • 数学期望
  • 方差
• 贝塔分布
• • 数学期望
  • 方差

作者：小猪快跑

基础数学&计算数学，从事优化领域7年+，主要研究方向：MIP求解器、整数规划、随机规划、智能优化算法

常用连续分布（正态分布、均匀分布、指数分布、伽马分布、贝塔分布）的数学期望、方差、特征函数具体推导。

如有错误，欢迎指正。如有更好的算法，也欢迎交流！！！------@小猪快跑

相关教程

• 常用分布的数学期望、方差、特征函数
• 【推导过程】常用离散分布的数学期望、方差、特征函数
• 【推导过程】常用连续分布的数学期望、方差、特征函数

相关文献

• [1]茆诗松,周纪芗.概率论与数理统计 (第二版)[M].中国统计出版社,2000.

常用连续分布的数学期望&方差&特征函数

分布名称	概率分布或密度函数 p ( x ) p(x) p(x)	数学期望	方差	特征函数
正态分布 高斯分布 N ( μ , σ 2 ) N(\mu,\sigma^2) N(μ,σ2)	p ( x ) = 1 2 π σ e − ( x − a ) 2 2 σ 2 − ∞ < x < + ∞ ( σ > 0 , a 常数 ) p(x)=\frac{1}{\sqrt{2\pi\sigma}}e^{-\frac{(x-a)^{2}}{2\sigma^{2}}}\\-\infty<x<+\infty\\(\sigma>0,a\text{常数}) p(x)=2πσ 1e−2σ2(x−a)2−∞<x<+∞(σ>0,a常数)	μ \mu μ	σ 2 \sigma^2 σ2	e i a t − 1 2 σ 2 t 2 e^{iat-\frac{1}{2}\sigma^{2}t^{2}} eiat−21σ2t2
均匀分布 U ( a , b ) U(a,b) U(a,b)	p ( x ) = { 1 b − a , x ∈ ( a , b ) 0 , 其他 ( a < b , 常数) p(x)=\begin{cases}\displaystyle\frac{1}{b-a}, x{\in}(a,b)\\0,\quad\text{其他}\end{cases}\\(a<b,\text{常数)} p(x)=⎩ ⎨ ⎧b−a1,x∈(a,b)0,其他(a<b,常数)	a + b 2 \displaystyle\frac{a+b}2 2a+b	( b − a ) 2 12 \displaystyle\frac{(b-a)^2}{12} 12(b−a)2	e i t b − e i t a i t ( b − a ) \displaystyle\frac{e^{itb}-e^{ita}}{it(b-a)} it(b−a)eitb−eita
指数分布 E x p ( λ ) Exp(\lambda) Exp(λ)	p ( x ) = { 0 , x < 0 λ e − λ x x ⩾ 0 ( λ > 0 , 常数 ) p(x)=\begin{cases}0,&x<0\\\lambda e^{-\lambda x}&x\geqslant0\end{cases}\\(\lambda>0,\text{常数}) p(x)={0,λe−λxx<0x⩾0(λ>0,常数)	1 λ \displaystyle\frac1{\lambda} λ1	1 λ 2 \displaystyle\frac1{\lambda^2} λ21	( 1 − i t λ ) − 1 \displaystyle\left(1-\frac{it}{\lambda}\right)^{-1} (1−λit)−1
伽马分布 G a ( α , λ ) Ga(\alpha,\lambda) Ga(α,λ)	p ( x ) = { 0 , x < 0 λ r Γ ( r ) x r − 1 e − λ x , x ⩾ 0 ( r > 0 , λ > 0 , 常数 ) p(x)=\begin{cases}0,&x<0\\\displaystyle\frac{\lambda^r}{\Gamma(r)}x^{r-1}e^{-\lambda x},&x\geqslant0\end{cases}\\(r>0,\lambda>0,\text{常数}) p(x)=⎩ ⎨ ⎧0,Γ(r)λrxr−1e−λx,x<0x⩾0(r>0,λ>0,常数)	r λ \displaystyle\frac r\lambda λr	r λ 2 \displaystyle\frac r{\lambda^2} λ2r	( 1 − i t λ ) − r \left(1-\displaystyle\frac{it}{\lambda}\right)^{-r} (1−λit)−r
χ 2 ( n ) \chi^2(n) χ2(n)分布	p ( x ) = { 0 , x < 0 1 2 n / 2 Γ ( n 2 ) ⋅ x n 2 − 1 e − x 2 , x ⩾ 0 (n正整数) p(x)=\begin{cases}0,&x<0\\\displaystyle\frac{1}{2^{n/2}\Gamma\left(\frac{n}{2}\right)}\cdot x^{\frac{n}{2}-1}e^{-\frac{x}{2}},&x\geqslant0\end{cases}\\\text{(n正整数)} p(x)=⎩ ⎨ ⎧0,2n/2Γ(2n)1⋅x2n−1e−2x,x<0x⩾0(n正整数)	n n n	2 n 2n 2n	( 1 − 2 i t ) − n 2 (1-2it)^{-\frac{n}{2}} (1−2it)−2n
贝塔分布 B e ( a , b ) Be(a,b) Be(a,b)	p ( x ) = { 0 , 其他 Γ ( p + q ) Γ ( p ) ⋅ Γ ( q ) x p − 1 ( 1 − x ) q − 1 , 0 < x < 1 ( p > 0 , q > 0 常数 ) p(x)=\begin{cases}0,\quad &其他\\\displaystyle\frac{\Gamma(p+q)}{\Gamma(p)\cdot\Gamma(q)}x^{p-1}(1-x)^{q-1},&0<x<1\end{cases}\\(p>0,q>0\text{ 常数}) p(x)=⎩ ⎨ ⎧0,Γ(p)⋅Γ(q)Γ(p+q)xp−1(1−x)q−1,其他0<x<1(p>0,q>0 常数)	p p + q \displaystyle\frac p{p+q} p+qp	p q ( p + q ) 2 ( p + q + 1 ) \displaystyle\frac{pq}{(p+q)^2(p+q+1)} (p+q)2(p+q+1)pq
对数正态分布 L N ( μ , σ 2 ) LN(\mu,\sigma^2) LN(μ,σ2)	p ( x ) = { 0 , x ⩽ 0 1 σ x 2 π e − ( ln ⁡ x − a ) 2 2 σ 2 , x > 0 ( σ > 0 , a 常数 ) p(x)=\begin{cases}\quad0,&x\leqslant0\\\displaystyle\frac{1}{\sigma x \sqrt{2\pi}}e^{-\frac{(\ln x-a)^{2}}{2\sigma^{2}}},&x>0\end{cases}\\(\sigma>0,a\text{常数}) p(x)=⎩ ⎨ ⎧0,σx2π 1e−2σ2(lnx−a)2,x⩽0x>0(σ>0,a常数)	e μ + σ 2 / 2 \mathrm{e}^{\mu+\sigma^2/2} eμ+σ2/2	e 2 μ + σ 2 ( e σ 2 − 1 ) \mathrm{e}^{2\mu+\sigma^2}(\mathrm{~e}^{\sigma^2}-1) e2μ+σ2( eσ2−1)
柯西分布 C a u ( μ , λ ) \mathrm{Cau}(\mu,\lambda) Cau(μ,λ)	p ( x ) = 1 π ⋅ λ λ 2 + ( x − μ ) 2 − ∞ < x < + ∞ ( λ > 0 , μ 常数 ) p(x)=\displaystyle\frac{1}{\pi}\cdot\frac{\lambda}{\lambda^{2}+(x-\mu)^{2}}\\-\infty<x<+\infty\\(\lambda>0,\mu\text{常数}) p(x)=π1⋅λ2+(x−μ)2λ−∞<x<+∞(λ>0,μ常数)	不存在	不存在	e i μ t − λ ∣ t ∣ e^{i\mu t-\lambda\lvert t\rvert} eiμt−λ∣t∣
韦伯分布	p ( x ) = { 0 , x ⩽ 0 a λ x a − 1 e − λ x a , x > 0 ( λ > 0 , a > 0 , 常数 ) p(x)=\begin{cases}0,&x\leqslant0\\\\a\lambda x^{a-1}e^{-\lambda x^{a}},&x>0\end{cases}\\(\lambda>0,a>0,\text{常数}) p(x)=⎩ ⎨ ⎧0,aλxa−1e−λxa,x⩽0x>0(λ>0,a>0,常数)	Γ ( 1 a + 1 ) λ − 1 a \Gamma\left(\displaystyle\frac{1}{a}+1\right)\lambda^{-\frac{1}{a}} Γ(a1+1)λ−a1	λ − 2 α [ Γ ( 2 a + 1 ) − Γ 2 ( 1 a + 1 ) ] \lambda^{-\frac{2}{\alpha}}\Big[\displaystyle\Gamma\left(\frac{2}{a}+1\right)\\-\Gamma^2\left(\frac{1}{a}+1\right)\Big] λ−α2[Γ(a2+1)−Γ2(a1+1)]
t t t分布	p ( x ) = Γ ( n + 1 2 ) n π Γ ( n 2 ) ( 1 + x 2 n ) − n + 1 2 − ∞ < x < + ∞ ( n 正整数 ) p(x)=\displaystyle\frac{\Gamma\left(\frac{n+1}{2}\right)}{\sqrt{n\pi}\Gamma\left(\frac{n}{2}\right)}\left(1+\frac{x^{2}}{n}\right)^{-\frac{n+1}{2}}\\-\infty<x<+\infty(n\text{ 正整数}) p(x)=nπ Γ(2n)Γ(2n+1)(1+nx2)−2n+1−∞<x<+∞(n 正整数)	0 ( n > 1 ) 0\\(n>1) 0(n>1)	n n − 2 ( n > 2 ) \displaystyle\frac{n}{n-2}\\(n>2) n−2n(n>2)
F F F分布	p ( x ) = { 0 , x < 0 Γ ( n 1 + n 2 2 ) Γ ( n 1 2 ) Γ ( n 2 2 ) n 1 n 1 2 n 2 n 2 2 x n 1 2 − 1 ( n 1 x + n 2 ) n 1 + n 2 2 , x ⩾ 0 ( n 1 , n 2 正整数) p(x)=\begin{cases}0,&x<0\\\displaystyle\frac{\Gamma\left(\frac{n_{1}+n_{2}}{2}\right)}{\Gamma\left(\frac{n_{1}}{2}\right)\Gamma\left(\frac{n_{2}}{2}\right)}\frac{n_1^{\frac{n_1}{2}} n_2^{\frac{n_2}{2}} x^{\frac{n_{1}}{2}-1}}{(n_{1}x+n_{2})^{\frac{n_{1}+n_{2}}{2}}},&x\geqslant0\end{cases}\\(n_{1},n_{2}\text{ 正整数)} p(x)=⎩ ⎨ ⎧0,Γ(2n1)Γ(2n2)Γ(2n1+n2)(n1x+n2)2n1+n2n12n1n22n2x2n1−1,x<0x⩾0(n1,n2 正整数)	n 2 n 2 − 2 ( n 2 > 2 ) \displaystyle\frac{n_{2}}{n_{2}-2}\\(n_{2}>2) n2−2n2(n2>2)	2 n 2 2 ( n 1 + n 2 − 2 ) n 1 ( n 2 − 2 ) 2 ( n 2 − 4 ) ( n 2 > 4 ) \displaystyle\frac{2n_{2}^{2}(n_{1}+n_{2}-2)}{n_{1}(n_{2}-2)^{2}(n_{2}-4)}\\(n_{2}>4) n1(n2−2)2(n2−4)2n22(n1+n2−2)(n2>4)
拉普拉斯分布	p ( x ) = 1 2 λ e − ∣ x − μ ∣ λ − ∞ < x < + ∞ ( λ > 0 , μ 常数 ) p(x)=\frac{1}{2\lambda}e^{-\frac{\lvert x-\mu\rvert}{\lambda}}\\-\infty<x<+\infty\\(\lambda>0,\mu\text{常数}) p(x)=2λ1e−λ∣x−μ∣−∞<x<+∞(λ>0,μ常数)	μ \mu μ	2 λ 2 2\lambda^2 2λ2	e i μ t 1 + λ 2 t 2 \displaystyle\frac{e^{i\mu t}}{1+\lambda^2t^2} 1+λ2t2eiμt

正态分布

若随机变量 X X X的密度函数为
p ( x ) = 1 2 π σ e − ( x − μ ) 2 2 σ 2 ,    − ∞ < x < + ∞ p(x) = \frac1{\sqrt{2\pi}\sigma} \mathrm{e}^{-\frac{(x-\mu)^2}{2\sigma^2}},\; -\infty<x<+\infty p(x)=2π σ1e−2σ2(x−μ)2,−∞<x<+∞

则称 X X X服从正态分布 ，称 X X X为正态变量 ，记作 X ∼ N ( μ , σ 2 ) X\sim N(\mu,\sigma^2) X∼N(μ,σ2)。其中参数 − ∞ < μ < + ∞ , σ > 0 -\infty<\mu<+\infty,\sigma>0 −∞<μ<+∞,σ>0。

正态分布 N ( μ , σ 2 ) N(\mu,\sigma^2) N(μ,σ2)的分布函数为
F ( x ) = 1 2 π σ ∫ − ∞ x e − ( t − μ ) 2 2 σ 2 d t F(x) = \frac1{\sqrt{2\pi}\sigma}\int_{-\infty}^x \mathrm{e}^{-\frac{(t-\mu)^2}{2\sigma^2}} \mathrm{d} t F(x)=2π σ1∫−∞xe−2σ2(t−μ)2dt

如果固定 σ \sigma σ，改变 μ \mu μ的值，则图形沿 x x x轴平移，而不改变其形状。也就是说正态密度函数的位置由参数 μ \mu μ所确定，因此亦称 μ \mu μ为位置参数。

如果固定 μ \mu μ，改变 σ \sigma σ的值，则 σ \sigma σ愈小，曲线呈高而瘦； σ \sigma σ愈大，曲线呈矮而胖.也就是说正态密度函数的尺度由参数 σ \sigma σ所确定，因此称 σ \sigma σ为尺度参数。

标准正态分布

称 μ = 0 , σ = 1 \mu=0,\sigma=1 μ=0,σ=1时的正态分布 N ( 0 , 1 ) N(0,1) N(0,1)为标准正态分布。

通常记标准正态变量为 U U U，记标准正态分布的密度函数为 φ ( u ) \varphi(u) φ(u)，分布函数为 Φ ( u ) \varPhi(u) Φ(u)，即
φ ( u ) = 1 2 π e − u 2 2 ,    − ∞ < u < + ∞ Φ ( u ) = 1 2 π ∫ − ∞ u e − t 2 2 d t ,    − ∞ < u < + ∞ \begin{gather*} \varphi(u) = \frac1{\sqrt{2\pi}} \mathrm{e}^{-\frac{u^2}2},\; -\infty < u < +\infty \\ \varPhi(u) = \frac1{\sqrt{2\pi}} \int_{-\infty}^u \mathrm{e}^{-\frac{t^2}2}\mathrm{d} t,\; -\infty < u < +\infty \end{gather*} φ(u)=2π 1e−2u2,−∞<u<+∞Φ(u)=2π 1∫−∞ue−2t2dt,−∞<u<+∞

由于标准正态分布的分布函数不含任何未知参数，故其值 Φ ( u ) = P ( U ≤ u ) \varPhi(u)=P(U\le u) Φ(u)=P(U≤u)完全可以算出。

• Φ ( − u ) = 1 − Φ ( u ) \varPhi(-u)=1-\varPhi(u) Φ(−u)=1−Φ(u)
• P ( U > u ) = 1 − Φ ( u ) P(U>u)=1-\varPhi(u) P(U>u)=1−Φ(u)
• P ( a < U < b ) = Φ ( b ) − Φ ( a ) P(a<U<b)=\varPhi(b)-\varPhi(a) P(a<U<b)=Φ(b)−Φ(a)
• P ( ∣ U ∣ < c ) = 2 Φ ( c ) − 1 P(|U|<c)=2\varPhi(c)-1 P(∣U∣<c)=2Φ(c)−1

一般正态分布的标准化

正态分布有一个家族
P = { N ( μ , σ 2 ) : − ∞ < μ < + ∞ , σ > 0 } \mathscr P = \{ N(\mu,\sigma^2):-\infty<\mu<+\infty,\sigma>0 \} P={N(μ,σ2):−∞<μ<+∞,σ>0}

标准正态分布 N ( 0 , 1 ) N(0,1) N(0,1)是其一个成员。实际上很少有随机变量恰好服从标准正态分布。以下定理说明：对一般正态分布都可以通过一个线性变换（标准化）化成标准正态分布。因此与正态变量有关的一切事件的概率都可通过查标准正态分布函数表获得。由此可见标准正态分布 N ( 0 , 1 ) N(0,1) N(0,1)对一般正态分布 N ( μ , σ 2 ) N(\mu,\sigma^2) N(μ,σ2)的计算起着关键的作用。

若 X ∼ N ( μ , σ 2 ) X\sim N(\mu,\sigma^2) X∼N(μ,σ2)，则 U = X − μ σ ∼ N ( 0 , 1 ) U=\frac{X-\mu}{\sigma}\sim N(0,1) U=σX−μ∼N(0,1)

证明：记 X X X与 U U U的分布函数分别为 F X ( x ) F_X(x) FX(x) 与 F U ( u ) F_U(u) FU(u)，则由分布函数的定义知
F U ( u ) = P ( U ≤ u ) = P ( X − μ σ ≤ u ) = P ( X ≤ μ + σ u ) = F X ( μ + σ u ) . \begin{align*} F_U(u) & = P(U \le u) = P \left( \frac{X - \mu}\sigma \le u \right) \\ & = P(X \le \mu + \sigma u) = F_X(\mu + \sigma u). \end{align*} FU(u)=P(U≤u)=P(σX−μ≤u)=P(X≤μ+σu)=FX(μ+σu).

由于正态分布函数是严格单调增函数，且处处可导，因此若记 X X X与 U U U的密度函数分别为 p X ( x ) p_X(x) pX(x)与 P U ( u ) P_U(u) PU(u)，则有
P U ( u ) = d d u F X ( μ + σ u ) = p X ( μ + σ u ) ⋅ σ = 1 2 π e − u 2 / 2 , P_U(u) = \frac{\mathrm d}{\mathrm du}F_X(\mu + \sigma u) = p_X(\mu+\sigma u)\cdot \sigma = \frac1{\sqrt{2\pi}} \mathrm{e}^{-u^2/2}, PU(u)=dudFX(μ+σu)=pX(μ+σu)⋅σ=2π 1e−u2/2,

由此得
U = X − μ σ ∼ N ( 0 , 1 ) U = \frac{X-\mu}\sigma \sim N(0,1) U=σX−μ∼N(0,1)

由以上定理，我们马上可以得到一些在实际中有用的计算公式，若 N ( μ , σ 2 ) N(\mu,\sigma^2) N(μ,σ2)，则
KaTeX parse error: Undefined control sequence: \label at position 78: ...igma \right) . \̲l̲a̲b̲e̲l̲{eq2.5.3}\\ ...

数学期望

设随机变量 X ∼ N ( μ , σ 2 ) X\sim N(\mu,\sigma^2) X∼N(μ,σ2)，由于 U = ( X − μ ) / σ ∼ N ( 0 , 1 ) U=(X-\mu)/\sigma\sim N(0,1) U=(X−μ)/σ∼N(0,1)，所以 U U U的数学期望为
E ( U ) = 1 2 π ∫ − ∞ + ∞ u e − u 2 2 d u E(U) = \frac1{\sqrt{2\pi}}\int_{-\infty}^{+\infty} u \mathrm{e}^{-\frac{u^2}2}\mathrm{d} u E(U)=2π 1∫−∞+∞ue−2u2du

注意到上述积分的被积函数为一个奇函数，所以其积分值等于0，即 E ( U ) = 0 E(U)=0 E(U)=0。又因为 X = μ + σ U X=\mu+\sigma U X=μ+σU，所以由数学期望的线性性得
E ( X ) = μ + σ × 0 = μ E(X) = \mu + \sigma \times 0 = \mu E(X)=μ+σ×0=μ

也就是说，正态分布 N ( μ , σ 2 ) N(\mu,\sigma^2) N(μ,σ2)中 μ \mu μ为数学期望。

方差

V a r ( U ) = E ( U 2 ) = 1 2 π ∫ − ∞ ∞ u 2 e − u 2 2 d u = 1 2 π ∫ − ∞ ∞ u d ( − e − u 2 2 ) = 1 2 π ( − u e − u 2 2 ∣ − ∞ ∞ + ∫ − ∞ ∞ e − u 2 2 d u ) = 1 2 π ∫ − ∞ ∞ e − u 2 2 d u = 1 2 π 2 π = 1 \begin{aligned} Var(U)& = E( U^{2} ) \\ &=\frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\infty}u^{2} \mathrm{e}^{-\frac{u^{2}}{2}}\mathrm{d}u \\ &=\frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\infty}u\mathrm{d}( - \mathrm{e}^{-\frac{u^{2}}{2}}) \\ &=\frac{1}{\sqrt{2\pi}}\left(\begin{array}{c}{-u\mathrm{e}^{-\frac{u^{2}}{2}}}\\\end{array}\right|{-\infty}^{\infty}+\int{-\infty}^{\infty}\mathrm{e}^{-\frac{u^{2}}{2}}\mathrm{d}u \Big) \\ &=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}\mathrm{e}^{-\frac{u^{2}}{2}}\mathrm{d}u \\ &=\frac{1}{\sqrt{2\pi}}\sqrt{2\pi} \\ &= 1 \end{aligned} Var(U)=E(U2)=2π 1∫−∞∞u2e−2u2du=2π 1∫−∞∞ud(−e−2u2)=2π 1(−ue−2u2 −∞∞+∫−∞∞e−2u2du)=2π 1∫−∞∞e−2u2du=2π 12π =1

因为 X = σ U + μ X=\sigma U+\mu X=σU+μ，所以由方差的性质得
V a r ( X ) = V a r ( σ U + μ ) = σ 2 \mathrm{Var}(X) = \mathrm{Var}(\sigma U + \mu) = \sigma^2 Var(X)=Var(σU+μ)=σ2

这说明，正态分布 N ( μ , σ 2 ) N(\mu,\sigma^2) N(μ,σ2)中另一个参数 σ 2 \sigma^2 σ2就是方差。

在求正态分布的数学期望和方差中，用到了一种变换：令 U = ( X − μ ) / σ U=(X-\mu)/\sigma U=(X−μ)/σ，由 E ( U ) = 0 , V a r ( U ) = 1 E(U)=0,\mathrm{Var}(U)=1 E(U)=0,Var(U)=1，然后再去求出 X X X的数学期望和方差.这个变换具有普遍意义，也就是对任意随机变量 X X X，如果 X X X的数学期望为 μ \mu μ，方差为 σ 2 \sigma^2 σ2，则称

X ∗ = X − μ σ X^\ast = \frac{X - \mu}\sigma X∗=σX−μ

为 X X X的标准化随机变量 ，且可得
E ( X ∗ ) = 0 , V a r ( X ∗ ) = 1 E(X^\ast) = 0,\quad \mathrm{Var}(X^\ast) = 1 E(X∗)=0,Var(X∗)=1

3 σ 3\sigma 3σ原则

设 X ∼ N ( μ , σ 2 ) X\sim N(\mu,\sigma^2) X∼N(μ,σ2)，则

P ( ∣ X − μ ∣ < k σ ) = Φ ( k ) − Φ ( − k ) = { 0.6826 , k = 1 0.9545 , k = 2 0.9973 , k = 3 P(|X - \mu|<k\sigma) = \varPhi(k) - \varPhi(-k) = \begin{cases} 0.6826, & k = 1 \\ 0.9545, & k = 2 \\ 0.9973, & k = 3 \end{cases} P(∣X−μ∣<kσ)=Φ(k)−Φ(−k)=⎩ ⎨ ⎧0.6826,0.9545,0.9973,k=1k=2k=3

从上式中可以看出：尽管正态变量的取值范围是 ( − ∞ , + ∞ ) (-\infty,+\infty) (−∞,+∞)，但它的 99.73 % 99.73\% 99.73% 的值落在 μ − 3 σ , μ + 3 σ \mu-3\sigma,\mu+3\sigma μ−3σ,μ+3σ 内. 这个性质被实际工作者称作是正态分布的" 3 σ 3\sigma 3σ原则"。正态分布的 3 σ 3\sigma 3σ 原则在实际工作中很有用，工业生产上用的控制图，和一些产品质量指数（如 C p , C p k C_p,C_{pk} Cp,Cpk）都是根据 3 σ 3\sigma 3σ 原则制定的。

均匀分布

若随机变量X的密度函数为
p ( x ) = { 1 b − a , a < x < b 0 , 其他 p(x) = \begin{cases} \frac1{b-a}, & a < x < b \\ 0, & \text{其他} \end{cases} p(x)={b−a1,0,a<x<b其他

则称 X X X服从区间 ( a , b ) (a,b) (a,b)上的均匀分布 ，记作 X ∼ U ( a , b ) X\sim U(a,b) X∼U(a,b)，其分布函数为

F ( x ) = { 0 , x < a ; x − a b − a , a ≤ x < b ; 1 , x ≥ b . F(x) = \begin{cases} 0, & x < a ; \\ \frac{x-a}{b-a}, & a \le x < b; \\ 1, & x \ge b. \end{cases} F(x)=⎩ ⎨ ⎧0,b−ax−a,1,x<a;a≤x<b;x≥b.

数学期望

设随机变量 X ∼ U ( a , b ) X\sim U(a,b) X∼U(a,b)，则
E ( X ) = ∫ a b x b − a d x = b 2 − a 2 2 ( b − a ) = a + b 2 E(X) = \int_a^b \frac x{b-a} \mathrm{d} x = \frac{b^2-a^2}{2(b-a)} = \frac{a+b}2 E(X)=∫abb−axdx=2(b−a)b2−a2=2a+b

这正是区间 ( a , b ) (a,b) (a,b)的终点。

方差

E ( X 2 ) = ∫ a b x 2 b − a d x = b 3 − a 3 3 ( b − a ) = a 2 + a b + b 2 3 E(X^2) = \int_a^b\frac{x^2}{b-a} \mathrm{d} x = \frac{b^3-a^3}{3(b-a)} = \frac{a^2+ab+b^2}3 E(X2)=∫abb−ax2dx=3(b−a)b3−a3=3a2+ab+b2

由此得 X X X的方差为
V a r ( X ) = E ( X 2 ) − [ E ( X ) ] 2 = a 2 + a b + b 2 3 − ( a + b ) 2 4 = ( b − a ) 2 12 \mathrm{Var}(X) = E(X^2) - [E(X)]^2 = \frac{a^2+ab+b^2}3 - \frac{(a+b)^2}4 = \frac{(b-a)^2}{12} Var(X)=E(X2)−[E(X)]2=3a2+ab+b2−4(a+b)2=12(b−a)2

指数分布

若随机变量X的密度函数为
p ( x ) = { λ e − λ x , x ⩾ 0 ; 0 , x < 0 , p(x) = \begin{cases} \lambda \mathrm{e}^{-\lambda x}, & x \geqslant 0; \\ 0, & x < 0, \end{cases} p(x)={λe−λx,0,x⩾0;x<0,

则称 X X X服从指数分布 ，记作 X ∼ E x p ( λ ) X\sim Exp(\lambda) X∼Exp(λ)，其中参数。指数分布的分布函数为
F ( x ) = { 1 − e − λ x , x ⩾ 0 ; 0 , x < 0. F(x) = \begin{cases} 1 - \mathrm{e}^{-\lambda x}, & x \geqslant 0; \\ 0, & x < 0. \end{cases} F(x)={1−e−λx,0,x⩾0;x<0.

无记忆性

如果 X ∼ E x p ( λ ) X\sim Exp(\lambda) X∼Exp(λ)，则对任意 s > 0 , t > 0 s>0,t>0 s>0,t>0，有
P ( X > s + t ∣ X > s ) = P ( X > t ) P(X > s + t| X > s) = P( X > t) P(X>s+t∣X>s)=P(X>t)

证明：因为 X ∼ E x p ( λ ) X\sim Exp(\lambda) X∼Exp(λ)，所以 P ( X > s ) = e − λ s , s > 0 P(X>s)=\mathrm{e}^{-\lambda s},s>0 P(X>s)=e−λs,s>0。又因为
{ X > s + t } ⊆ { X > s } \{X>s+t\} \subseteq \{ X>s \} {X>s+t}⊆{X>s}

于是条件概率
P ( X > s + t ∣ X > s ) = P ( X > s + t ) P ( X > s ) = e − λ ( s + t ) e − λ s = e − λ t = P ( X > t ) P(X>s+t | X>s) = \frac{P(X>s+t)}{P(X>s)} = \frac{\mathrm{e}^{-\lambda(s+t)}}{\mathrm{e}^{-\lambda s}} = \mathrm{e}^{-\lambda t} =P(X>t) P(X>s+t∣X>s)=P(X>s)P(X>s+t)=e−λse−λ(s+t)=e−λt=P(X>t)

数学期望

设随机变量 X ∼ E x p ( λ ) X\sim Exp(\lambda) X∼Exp(λ)，则
E ( X ) = ∫ 0 + ∞ x λ e − λ x d x = ∫ 0 + ∞ x d ( − e − λ x ) = − x e − λ x ∣ 0 + ∞ + ∫ 0 + ∞ e − λ x d x = − 1 λ e − λ x ∣ 0 + ∞ = 1 λ . \begin{align*} E(X) & = \int_0^{+\infty}x\lambda \mathrm{e}^{-\lambda x}\mathrm{d} x = \int_0^{+\infty}x \mathrm{d} (-\mathrm{e}^{-\lambda x}) \\ & = -x\mathrm{e}^{-\lambda x}\big|_0^{+\infty} + \int_0^{+\infty}\mathrm{e}^{-\lambda x}\mathrm{d} x = - \frac1\lambda \mathrm{e}^{-\lambda x}\bigg|_0^{+\infty} = \frac1\lambda . \end{align*} E(X)=∫0+∞xλe−λxdx=∫0+∞xd(−e−λx)=−xe−λx 0+∞+∫0+∞e−λxdx=−λ1e−λx 0+∞=λ1.

在指数分布中，有时记 θ = 1 / λ \theta=1/\lambda θ=1/λ，则 θ \theta θ 为指数分布的数学期望

方差

E ( X 2 ) = ∫ 0 + ∞ x 2 λ e − λ x d x = ∫ 0 + ∞ x 2 d ( − e − λ x ) = − x 2 e − λ ∣ 0 + ∞ + 2 ∫ 0 + ∞ x e − λ x d x = 2 λ 2 , \begin{align*} E(X^2) & = \int_0^{+\infty}x^2\lambda \mathrm{e}^{-\lambda x}\mathrm{d} x = \int_0^{+\infty}x^2\mathrm{d}(-\mathrm{e}^{-\lambda x}) \\ & = -x^2\mathrm{e}^{-\lambda}\bigg|_0^{+\infty} + 2\int_0^{+\infty} x\mathrm{e}^{-\lambda x} \mathrm{d} x = \frac2{\lambda^2}, \end{align*} E(X2)=∫0+∞x2λe−λxdx=∫0+∞x2d(−e−λx)=−x2e−λ 0+∞+2∫0+∞xe−λxdx=λ22,

由此得 X X X的方差为

V a r ( X ) = E ( X 2 ) − [ E ( X ) ] 2 = 2 λ 2 − 1 λ 2 = 1 λ 2 \mathrm{Var}(X) = E(X^2) - [E(X)]^2 = \frac2{\lambda^2} - \frac1{\lambda^2} = \frac1{\lambda^2} Var(X)=E(X2)−[E(X)]2=λ22−λ21=λ21

伽马分布

称以下函数
Γ ( α ) = ∫ 0 + ∞ x α − 1 e e − x d x \Gamma(\alpha) = \int_0^{+\infty}x^{\alpha-1}\mathrm{ee}^{-x} \mathrm{d} x Γ(α)=∫0+∞xα−1ee−xdx

为伽玛函数，其中参数。伽玛函数具有如下性质：

• Γ ( 1 ) = 1 , Γ ( 1 2 ) = π \Gamma(1)=1,\Gamma\left(\frac12\right)=\sqrt\pi Γ(1)=1,Γ(21)=π

• Γ ( α + 1 ) = α Γ ( α ) \Gamma(\alpha+1)=\alpha\Gamma(\alpha) Γ(α+1)=αΓ(α)（可用分部积分法证得）。当 α \alpha α为自然数 n n n时，有
  Γ ( n + 1 ) = n Γ ( n ) = n ! \Gamma(n+1) = n\Gamma(n) = n! Γ(n+1)=nΓ(n)=n!

若随机变量 X X X的密度函数为
p ( x ) = { λ α Γ ( α ) x α − 1 e e − λ x , x ≥ 0 ; 0 , x < 0 , p(x) = \begin{cases} \frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1} \mathrm{ee}^{-\lambda x}, & x\ge 0 ; \\ 0, & x < 0, \end{cases} p(x)={Γ(α)λαxα−1ee−λx,0,x≥0;x<0,

则称 X X X服从伽玛分布 ，记作 X ∼ G a ( α , λ ) X\sim Ga(\alpha,\lambda) X∼Ga(α,λ)，其中 α > 0 \alpha>0 α>0为形状参数， λ > 0 \lambda>0 λ>0为尺度参数。

两个特例

• α = 1 \alpha=1 α=1时的伽玛分布就是指数分布，即
  G a ( 1 , λ ) = E x p ( λ ) Ga(1,\lambda) = Exp(\lambda) Ga(1,λ)=Exp(λ)

• 称 α = n / 2 , λ = 1 / 2 \alpha=n/2,\lambda=1/2 α=n/2,λ=1/2时的伽玛分布是自由度为 n n n的 χ 2 \chi^2 χ2（卡方）分布 ，记为 χ 2 ( n ) \chi^2(n) χ2(n)，记
  G a ( n 2 , 1 2 ) = χ 2 ( n ) Ga\left( \frac n2, \frac12 \right) = \chi^2(n) Ga(2n,21)=χ2(n)

  其密度函数为
  p ( x ) = { 1 2 n 2 Γ ( n 2 ) e e − x 2 x n 2 − 1 , x > 0 ; 0 , x ≤ 0. p(x) = \begin{cases} \frac1{2^{\frac n2}\Gamma\left(\frac n2\right)} \mathrm{ee}^{-\frac x2}x^{\frac n2-1}, & x > 0 ; \\ 0, & x \le 0. \end{cases} p(x)={22nΓ(2n)1ee−2xx2n−1,0,x>0;x≤0.

  这里 n n n是 χ 2 \chi^2 χ2分布的唯一参数，称为自由度，它可以是正实数，但更多的是取正整数。

  因为 χ 2 \chi^2 χ2分布是特殊的伽玛分布，故由伽玛分布的期望和方差，很容易得到 χ 2 \chi^2 χ2分布的期望和方差为
  E ( X ) = n , V a r ( X ) = 2 n E(X) = n,\quad \mathrm{Var}(X) = 2n E(X)=n,Var(X)=2n

数学期望

利用伽玛函数的性质，不难算得伽玛分布 G a ( α , λ ) Ga(\alpha,\lambda) Ga(α,λ)的数学期望为
E ( X ) = λ α Γ ( α ) ∫ 0 + ∞ x α e e − λ x d x = Γ ( α + 1 ) Γ ( α ) 1 λ = α λ E(X) = \frac{\lambda^\alpha}{\Gamma(\alpha)} \int_0^{+\infty}x^\alpha \mathrm{ee}^{-\lambda x}\mathrm{d} x = \frac{\Gamma(\alpha+1)}{\Gamma(\alpha)} \frac1\lambda = \frac\alpha\lambda E(X)=Γ(α)λα∫0+∞xαee−λxdx=Γ(α)Γ(α+1)λ1=λα

方差

E ( X 2 ) = λ α Γ ( α ) ∫ 0 + ∞ x α + 1 e e − λ x d x = Γ ( α + 2 ) λ 2 Γ ( α ) = α ( α + 1 ) λ 2 E(X^2) = \frac{\lambda^\alpha}{\Gamma(\alpha)} \int_0^{+\infty} x^{\alpha+1}\mathrm{ee}^{-\lambda x}\mathrm{d} x = \frac{\Gamma(\alpha+2)}{\lambda^2\Gamma(\alpha)} = \frac{\alpha(\alpha+1)}{\lambda^2} E(X2)=Γ(α)λα∫0+∞xα+1ee−λxdx=λ2Γ(α)Γ(α+2)=λ2α(α+1)

由此得 X X X的方差为

V a r ( X ) = E ( X 2 ) − [ E ( X ) ] 2 = α ( α + 1 ) λ 2 − ( α λ ) 2 = α λ 2 \mathrm{Var}(X) = E(X^2) - [E(X)]^2 = \frac{\alpha(\alpha+1)}{\lambda^2} - \left(\frac\alpha\lambda\right)^2 = \frac\alpha{\lambda^2} Var(X)=E(X2)−[E(X)]2=λ2α(α+1)−(λα)2=λ2α

贝塔分布

称以下函数
B ( a , b ) = ∫ 0 1 x a − 1 ( 1 − x ) b − 1 d x \mathrm{B}(a,b) = \int_0^1 x^{a-1}(1-x)^{b-1}\mathrm{d} x B(a,b)=∫01xa−1(1−x)b−1dx

为贝塔函数 ，其中参数 a > 0 , b > 0 a>0,b>0 a>0,b>0。贝塔函数具有如下性质：

• B ( a , b ) = B ( b , a ) \mathrm{B}(a,b)=\mathrm{B}(b,a) B(a,b)=B(b,a)

  令 y = 1 − x y=1-x y=1−x，即得
  B ( a , b ) = ∫ 1 0 ( 1 − y ) a − 1 y b − 1 ( − d y ) = ∫ 0 1 ( 1 − y ) a − 1 y b − 1 d y = B ( b , a ) \mathrm{B}(a,b) = \int_1^0(1-y)^{a-1}y^{b-1}(-\mathrm{d} y) = \int_0^1 (1-y)^{a-1}y^{b-1}\mathrm{d} y = \mathrm{B}(b,a) B(a,b)=∫10(1−y)a−1yb−1(−dy)=∫01(1−y)a−1yb−1dy=B(b,a)

• 贝塔函数与伽玛函数间有关系
  B ( a , b ) = Γ ( a ) Γ ( b ) Γ ( a + b ) \mathrm{B}(a,b) = \frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)} B(a,b)=Γ(a+b)Γ(a)Γ(b)

  由伽玛函数的定义知
  Γ ( a ) Γ ( b ) = ∫ 0 + ∞ ∫ 0 + ∞ x a − 1 y b − 1 e e − ( x + y ) d x d y \Gamma(a) \Gamma(b) = \int_0^{+\infty}\int_0^{+\infty}x^{a-1}y^{b-1} \mathrm{ee}^{-(x+y)} \mathrm{d} x \mathrm{d} y Γ(a)Γ(b)=∫0+∞∫0+∞xa−1yb−1ee−(x+y)dxdy

  作变量变换 x = u v , y = u ( 1 − v ) x=uv,y=u(1-v) x=uv,y=u(1−v)，其雅可比行列式 J = − u J=-u J=−u，故
  Γ ( a ) Γ ( b ) = ∫ 0 + ∞ ∫ 0 1 ( u v ) a − 1 [ u ( 1 − v ) ] b − 1 e e − u u d u d v = ∫ 0 + ∞ u a + b − 1 e e − u ∫ 0 1 v a − 1 ( 1 − v ) b − 1 d v = Γ ( a + b ) B ( a , b ) , \begin{align*} \Gamma(a)\Gamma(b) & = \int_0^{+\infty}\int_0^1(uv)^{a-1}[u(1-v)]^{b-1} \mathrm{ee}^{-u}u \mathrm{d} u \mathrm{d} v \\ & = \int_0^{+\infty}u^{a+b-1}\mathrm{ee}^{-u} \int_0^1v^{a-1}(1-v)^{b-1}\mathrm{d} v = \Gamma(a+b)\mathrm{B}(a,b), \end{align*} Γ(a)Γ(b)=∫0+∞∫01(uv)a−1[u(1−v)]b−1ee−uududv=∫0+∞ua+b−1ee−u∫01va−1(1−v)b−1dv=Γ(a+b)B(a,b),

  由此证得。

若随机变量 X X X的密度函数为
p ( x ) = { Γ ( a + b ) Γ ( a ) Γ ( b ) x a − 1 ( 1 − x ) b − 1 , 0 < x < 1 ; 0 , 其他 , p(x) = \begin{cases} \frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)} x^{a-1}(1-x)^{b-1}, & 0 < x < 1; \\ 0, & \text{其他}, \end{cases} p(x)={Γ(a)Γ(b)Γ(a+b)xa−1(1−x)b−1,0,0<x<1;其他,

则称 X X X服从贝塔分布 ，记作 X ∼ B e ( a , b ) X\sim Be(a,b) X∼Be(a,b)，其中 a > 0 , b > 0 a>0,b>0 a>0,b>0 都是形状参数。

因为服从贝塔分布 B e ( a , b ) Be(a,b) Be(a,b)的随机变量是仅在区间 ( 0 , 1 ) (0,1) (0,1)取值的，所以不合格品率、机器的维修率、市场的占有率、射击的命中率等各种比率选用贝塔分布作为它们的概率分布是恰当的，只要选择合适的参数 a a a与 b b b即可。

数学期望

利用贝塔函数的性质，不难算得贝塔分布 B e ( a , b ) Be(a,b) Be(a,b)的数学期望为
E ( X ) = Γ ( a + b ) Γ ( a ) Γ ( b ) ∫ 0 1 x a ( 1 − x ) b − 1 d x = Γ ( a + b ) Γ ( a ) Γ ( b ) ⋅ Γ ( a + 1 ) Γ ( b ) Γ ( a + b + 1 ) = a a + b . \begin{align*} E(X) & = \frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)} \int_0^1 x^a(1-x)^{b-1} \mathrm{d} x \\ & = \frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\cdot \frac{\Gamma(a+1)\Gamma(b)}{\Gamma(a+b+1)} = \frac a{a+b}. \end{align*} E(X)=Γ(a)Γ(b)Γ(a+b)∫01xa(1−x)b−1dx=Γ(a)Γ(b)Γ(a+b)⋅Γ(a+b+1)Γ(a+1)Γ(b)=a+ba.

方差

E ( X 2 ) = Γ ( a + b ) Γ ( a ) Γ ( b ) ∫ 0 1 x a + 1 ( 1 − x ) b − 1 d x = Γ ( a + b ) Γ ( a ) Γ ( b ) ⋅ Γ ( a + 2 ) Γ ( b ) Γ ( a + b + 2 ) = a ( a + 1 ) ( a + b ) ( a + b + 1 ) . \begin{align*} E(X^2) & = \frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)} \int_0^1 x^{a+1}(1-x)^{b-1} \mathrm{d} x \\ & = \frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\cdot \frac{\Gamma(a+2)\Gamma(b)}{\Gamma(a+b+2)} \\ & = \frac{a(a+1)}{(a+b)(a+b+1)}. \end{align*} E(X2)=Γ(a)Γ(b)Γ(a+b)∫01xa+1(1−x)b−1dx=Γ(a)Γ(b)Γ(a+b)⋅Γ(a+b+2)Γ(a+2)Γ(b)=(a+b)(a+b+1)a(a+1).

由此得 X X X的方差为
V a r ( X ) = a ( a + 1 ) ( a + b ) ( a + b + 1 ) − ( a a + b ) 2 = a b ( a + b ) 2 ( a + b + 1 ) \mathrm{Var}(X) = \frac{a(a+1)}{(a+b)(a+b+1)} - \left(\frac a{a+b}\right)^2 = \frac{ab}{(a+b)^2(a+b+1)} Var(X)=(a+b)(a+b+1)a(a+1)−(a+ba)2=(a+b)2(a+b+1)ab