概率论:理解区间估计【超详细笔记】
参考教程
一、预备知识
若 X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X1,X2,⋯,Xn 独立同分布于 N ( μ , σ 2 ) N(\mu, \sigma^2) N(μ,σ2)，则
- X ˉ ∼ N ( μ , σ 2 n ) \bar{X} \sim N\left(\mu, \frac{\sigma^2}{n}\right) Xˉ∼N(μ,nσ2)
经过标准化： X ˉ − μ σ / n ∼ N ( 0 , 1 ) \frac{\bar{X} - \mu}{\sigma / \sqrt{n}} \sim N(0, 1) σ/n Xˉ−μ∼N(0,1)
- X ˉ − μ s / n ∼ t ( n − 1 ) \frac{\bar{X} - \mu}{s / \sqrt{n}} \sim t(n - 1) s/n Xˉ−μ∼t(n−1)
其中，有一个对应的 t t t 分布的概率密度曲线图，横轴为 t α ( n − 1 ) t_{\alpha(n - 1)} tα(n−1)，曲线右侧尾部区域标注为 α \alpha α。
二、引例
例子
点估计 和区间估计 都是用样本估计总体。
点估计就是用一个点估计一个未知参数：
比如我估计你是21岁。
很难估计准确，比如你可能是21.1岁，那我就估计错了。
但是假如我用一个区间估计你的年龄，我估计你年龄在(18，25)中，这样可信更多了。
区间估计就是找到一个区间，这个区间里可能会有未知参数。
-
可靠性 ：
比如估计一个大学生的年纪，一个估计的区间是（18,25），另一个区间是(50,55)，显然前者要更好一点。故，区间需要可靠。
-
精度 ：
比如我估计大学生的年龄是（0，100）虽然可靠性很高，但是太粗糙了。（18，22）显然比（18，25）精度更高，范围小，精度高。
因此区间估计既要可靠性也要精度，但是精度与可靠性往往是相悖的们就是提高精度的同时往往会降低可靠性。
目前广泛的做法是在保证的可靠性的前提下，尽可能的去提高精度。
如何践行上述原则
允许有个犯错的概率
例如，我允许犯错的概率是5%，给出估计年龄的区间是（20，23）。那么意为着你的年龄落在（20，23）这个范围里面的正确的概率是95%。
引出名词
显著性水平
犯错的概率 就是显著性水平 ，一般用小字母 α \alpha α表示。
置信度
正确的概率 就是置信度 ，用1- α \alpha α表示。
置信区间
在某个置信度下算出来的，叫做置信区间。
三、 数学描述
若
P { θ ^ 1 ≤ θ ≤ θ ^ 2 } = 1 − α P\left\{ \hat{\theta}_1 \leq \theta \leq \hat{\theta}_2 \right\} = 1 - \alpha P{θ^1≤θ≤θ^2}=1−α
则称 [ θ ^ 1 , θ ^ 2 ] [\hat{\theta}_1, \hat{\theta}_2] [θ^1,θ^2] 为 θ \theta θ 的置信度为 1 − α 1 - \alpha 1−α 的置信区间。
四、具体的区间估计的形式
- 例 ：设 x 1 , x 2 , ⋯ , x n x_1, x_2, \cdots, x_n x1,x2,⋯,xn 是从正态总体 X ∼ N ( μ , σ 2 ) X \sim N(\mu, \sigma^2) X∼N(μ,σ2)（ σ 2 \sigma^2 σ2 已知）中抽出的简单随机样本，试求参数 μ \mu μ 的一个置信度为 1 − α 1 - \alpha 1−α 的区间估计。
P { θ ^ 1 ≤ μ ≤ θ ^ 2 } = 1 − α P\left\{ \hat{\theta}_1 \leq \mu\leq \hat{\theta}_2 \right\} = 1 - \alpha P{θ^1≤μ≤θ^2}=1−α这时候想求 θ ^ 1 \hat{\theta}_1 θ^1 和 θ ^ 2 \hat{\theta}_2 θ^2，直接用 μ \mu μ来算太麻烦，要用枢轴变量法
X ˉ ∼ N ( μ , σ 2 n ) \bar{X} \sim N\left(\mu, \frac{\sigma^2}{n}\right) Xˉ∼N(μ,nσ2) 经过标准化： X ˉ − μ σ / n ∼ N ( 0 , 1 ) \frac{\bar{X} - \mu}{\sigma / \sqrt{n}} \sim N(0, 1) σ/n Xˉ−μ∼N(0,1)
引入新的变量Y ，Y= X ˉ − μ σ / n \frac{\bar{X} - \mu}{\sigma / \sqrt{n}} σ/n Xˉ−μ
可以写出 P { ∗ ≤ Y ≤ ∗ } = 1 − α P\left\{ * \leq Y \leq* \right \} = 1 - \alpha P{∗≤Y≤∗}=1−α
因此，
故，
P { − u ‾ α 2 ≤ Y ≤ u ‾ α 2 } = 1 − α P\left\{ -\underline{u}{\frac{\alpha}{2}} \leq Y \leq \underline{u}{\frac{\alpha}{2}} \right\} = 1 - \alpha P{−u2α≤Y≤u2α}=1−α
已知有如下概率等式推导：
P { − u α 2 ≤ X ˉ − μ σ / n ≤ u α 2 } P\left\{ -u_{\frac{\alpha}{2}} \leq \frac{\bar{X}-\mu}{\sigma / \sqrt{n}} \leq u_{\frac{\alpha}{2}} \right\} P{−u2α≤σ/n Xˉ−μ≤u2α}
进一步变形为
P { − σ n u α 2 ≤ X ˉ − μ ≤ σ n u α 2 } P\left\{ -\frac{\sigma}{\sqrt{n}}u_{\frac{\alpha}{2}} \leq \bar{X}-\mu \leq \frac{\sigma}{\sqrt{n}}u_{\frac{\alpha}{2}} \right\} P{−n σu2α≤Xˉ−μ≤n σu2α}
再继续推导得到 P { − σ n u α 2 − X ˉ ≤ − μ ≤ σ n u α 2 − X ˉ } P\left\{ -\frac{\sigma}{\sqrt{n}}u_{\frac{\alpha}{2}} - \bar{X} \leq -\mu \leq \frac{\sigma}{\sqrt{n}}u_{\frac{\alpha}{2}} - \bar{X} \right\} P{−n σu2α−Xˉ≤−μ≤n σu2α−Xˉ}
最终得到 μ \mu μ 的置信度为 1 − α 1 - \alpha 1−α 的置信区间表达式为 P { X ˉ − σ n u α 2 ≤ μ ≤ X ˉ + σ n u α 2 } P\left\{ \bar{X} - \frac{\sigma}{\sqrt{n}}u_{\frac{\alpha}{2}} \leq \mu \leq \bar{X} + \frac{\sigma}{\sqrt{n}}u_{\frac{\alpha}{2}} \right\} P{Xˉ−n σu2α≤μ≤Xˉ+n σu2α}
其中， X ˉ \bar{X} Xˉ 是样本均值， σ \sigma σ 是总体标准差， n n n 是样本容量， u α 2 u_{\frac{\alpha}{2}} u2α 是标准正态分布的上 α 2 \frac{\alpha}{2} 2α 分位数。
其中，假设 u α 2 u_{\frac{\alpha}{2}} u2α 是标准正态分布的上 α 2 \frac{\alpha}{2} 2α 分位数， X ˉ \bar{X} Xˉ 是样本均值， σ \sigma σ 是总体标准差， n n n 是样本容量。
由前面的推导可知，参数 μ \mu μ 的置信度为 1 − α 1 - \alpha 1−α 的置信区间为 [ X ˉ − σ n u α 2 , X ˉ + σ n u α 2 ] \left[ \bar{X} - \frac{\sigma}{\sqrt{n}}u_{\frac{\alpha}{2}}, \bar{X} + \frac{\sigma}{\sqrt{n}}u_{\frac{\alpha}{2}} \right] [Xˉ−n σu2α,Xˉ+n σu2α]
- 例 ：设 x 1 , x 2 , ⋯ , x n x_1, x_2, \cdots, x_n x1,x2,⋯,xn 是从正态总体 X ∼ N ( μ , σ 2 ) X \sim N(\mu, \sigma^2) X∼N(μ,σ2)（ σ 2 \sigma^2 σ2 未知）中抽出的简单随机样本，试求参数 μ \mu μ 的一个置信度为 1 − α 1 - \alpha 1−α 的区间估计。
很显然不能用 X ˉ − μ σ / n \frac{\bar{X}-\mu}{\sigma / \sqrt{n}} σ/n Xˉ−μ，因为里面有未知数 σ \sigma σ
在求解过程中，会用到统计量 X ˉ − μ S / n \frac{\bar{X}-\mu}{S / \sqrt{n}} S/n Xˉ−μ，其中 X ˉ \bar{X} Xˉ 是样本均值， S S S 是样本标准差， n n n 是样本容量。
最终得到 ：
当总体 X ∼ N ( μ , σ 2 ) X \sim N(\mu, \sigma^2) X∼N(μ,σ2) 且 σ 2 \sigma^2 σ2 未知时，参数 μ \mu μ 的置信度为 1 − α 1 - \alpha 1−α 的置信区间可通过以下概率表达式推导得到 ： P { X ˉ − S n t α 2 ( n − 1 ) ≤ μ ≤ X ˉ + S n t α 2 ( n − 1 ) } = 1 − α P\left\{ \bar{X} - \frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n - 1) \leq \mu \leq \bar{X} + \frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n - 1) \right\} = 1 - \alpha P{Xˉ−n St2α(n−1)≤μ≤Xˉ+n St2α(n−1)}=1−α。
其中， X ˉ \bar{X} Xˉ 是样本均值， S S S 是样本标准差， n n n 是样本容量， t α 2 ( n − 1 ) t_{\frac{\alpha}{2}}(n - 1) t2α(n−1) 是自由度为 n − 1 n - 1 n−1 的 t t t 分布的上 α 2 \frac{\alpha}{2} 2α 分位数。