目前的概率论或者随机变量书籍过分强调对独立随机变量 的大数定律，中心极限定理，遗憾上界的估计。而对于非独立随机变量的研究很少，在《概率论的极限定理》中曾给出过一般随机变量求和的渐进分布簇的具体形式，然而形式却太过复杂。下面将以切比雪夫不等式为基本出发点，研究非独立情况下的随机变量均值的一个误差上界，为后面研究提供基础。
（非独立随机变量概率误差上界） 若对于随机变量 { r t + 1 , r t + 1 , . . . , r t + n } \{r_{t+1},r_{t+1},...,r_{t+n}\} {rt+1,rt+1,...,rt+n}，存在 D max ≥ 0 D_{\max}\geq0 Dmax≥0使得对于任意 k k k，有 D [ r t + k ∣ H k ] ≤ D max \mathbb{D}[r_{t+k}|H_k]\leq D_{\max} D[rt+k∣Hk]≤Dmax，则有下面的式子成立，对于给定 ε > 0 \varepsilon >0 ε>0：
P [ ∣ 1 n ∑ k = 1 n r t + k − 1 n ∑ k = 1 n E t + k [ r t + k ∣ H k ] ∣ > ε ] ≤ D [ ∑ k = 1 n r t + k ∣ H n ] n 2 ε 2 = ∑ k = 1 n D [ r t + k ∣ H n ] + ∑ i = 1 n ∑ j ≠ i n [ E [ r t + i r t + j ∣ H n ] − E [ r t + i ∣ H n ] E [ r t + j ∣ H n ] n 2 ε 2 = ∑ k = 1 n D [ r t + k ∣ H n ] + ∑ i = 1 n ∑ j ≠ i n ρ i j D [ r t + i ∣ H n ] D [ r t + j ∣ H n ] n 2 ε 2 = D max n + ∑ i = 1 n ∑ j ≠ i ρ i j n 2 ε 2 \mathbb{P}[|\frac{1}{n}\sum_{k=1}^nr_{t+k}-\frac{1}{n}\sum_{k=1}^n\mathbb{E}{t+k}[r{t+k}|H_k]|>\varepsilon]\leq \frac{\mathbb{D}[\sum_{k=1}^nr_{t+k}|H_n]}{n^2\varepsilon^2}\\ =\frac{\sum_{k=1}^n\mathbb{D}[r_{t+k}|H_n]+\sum_{i=1}^n\sum_{j\ne i}^n[\mathbb{E}[r_{t+i}r_{t+j}|H_n]-\mathbb{E}[r_{t+i}|H_n]\mathbb{E}[r_{t+j}|H_n]}{n^2\varepsilon^2}\\ = \frac{\sum_{k=1}^n\mathbb{D}[r_{t+k}|H_n]+\sum_{i=1}^n\sum_{j\ne i}^n\rho_{ij}\sqrt{\mathbb{D}[r_{t+i}|H_n]}\sqrt{\mathbb{D}[r_{t+j}|H_n]}}{n^2\varepsilon^2}\\=D_{\max}\frac{n+\sum_{i=1}^n\sum_{j\ne i}\rho_{ij}}{n^2\varepsilon^2} P[∣n1k=1∑nrt+k−n1k=1∑nEt+k[rt+k∣Hk]∣>ε]≤n2ε2D[∑k=1nrt+k∣Hn]=n2ε2∑k=1nD[rt+k∣Hn]+∑i=1n∑j=in[E[rt+irt+j∣Hn]−E[rt+i∣Hn]E[rt+j∣Hn]=n2ε2∑k=1nD[rt+k∣Hn]+∑i=1n∑j=inρijD[rt+i∣Hn] D[rt+j∣Hn] =Dmaxn2ε2n+∑i=1n∑j=iρij
其中 ρ i j ∈ [ − 1 , 1 ] \rho_{ij}\in[-1,1] ρij∈[−1,1]，表示随机变量 r t + i r_{t+i} rt+i和随机变量 r t + j r_{t+j} rt+j的相关系数，描述了其相关程度。
（推论1） 可以看出的是，若相关性最强的情况，对于任意两个随机变量 r t + i r_{t+i} rt+i和 r t + j r_{t+j} rt+j间都是强相关的，即对于任意 r t + i , r t + j r_{t+i},r_{t+j} rt+i,rt+j， ρ i j = 1 \rho_{ij}=1 ρij=1，则有对于给定的 ε > 0 \varepsilon >0 ε>0：
P [ ∣ 1 n ∑ k = 1 n r t + k − 1 n ∑ k = 1 n E t + k [ r t + k ∣ H k ] ∣ > ε ] ≤ D max ε 2 \mathbb{P}[|\frac{1}{n}\sum_{k=1}^nr_{t+k}-\frac{1}{n}\sum_{k=1}^n\mathbb{E}{t+k}[r{t+k}|H_k]|>\varepsilon]\leq \frac{D_{\max}}{\varepsilon^2} P[∣n1k=1∑nrt+k−n1k=1∑nEt+k[rt+k∣Hk]∣>ε]≤ε2Dmax
（推论2） 非独立随机变量若想要使得 大数定律 成立，即 1 n ∑ k = 1 n r t + k \frac{1}{n}\sum_{k=1}^nr_{t+k} n1∑k=1nrt+k依概率收敛到 1 n ∑ k = 1 n E t + k [ r t + k ] \frac{1}{n}\sum_{k=1}^n\mathbb{E}{t+k}[r{t+k}] n1∑k=1nEt+k[rt+k],则需要使得 ∑ j ≠ i ρ i j < o ( n ) \sum_{j\ne i}\rho_{ij}<o(n) ∑j=iρij<o(n)或者 ∑ i = 1 n ∑ j ≠ i ρ i j < o ( n 2 ) \sum_{i=1}^n\sum_{j\ne i}\rho_{ij}<o(n^2) ∑i=1n∑j=iρij<o(n2) 。
即对于任意一个随机变量 r t + i r_{t+i} rt+i而言，其同其他随机变量 r t + j r_{t+j} rt+j的相关程度之和应该大于 n n n的线性增加。例如：随着 n n n的增加， r t + i r_{t+i} rt+i永远只有和其有限个 m m m的 r t + i − 1 , r t + i − 2 , . . . r t + i − m r_{t+i-1},r_{t+i-2},...r_{t+i-m} rt+i−1,rt+i−2,...rt+i−m相关，则此时大数定律依然成立。
（推论3） 若对于任意 ρ i j , i ≠ j \rho_{ij},i\ne j ρij,i=j， ∣ ρ i j ∣ < ρ ≤ 1 |\rho_{ij}|<\rho\leq1 ∣ρij∣<ρ≤1,则可以得到： P [ ∣ 1 n ∑ k = 1 n r t + k − 1 n ∑ k = 1 n E t + k [ r t + k ∣ H k ] ∣ > ε ] ≤ D max ∣ ρ ∣ ε 2 + D max ( 1 − ∣ ρ ∣ ) n ε 2 \mathbb{P}[|\frac{1}{n}\sum_{k=1}^nr_{t+k}-\frac{1}{n}\sum_{k=1}^n\mathbb{E}{t+k}[r{t+k}|H_k]|>\varepsilon]\leq \frac{D_{\max}|\rho|}{\varepsilon^2}+\frac{D_{\max}(1-|\rho|)}{n\varepsilon^2} P[∣n1k=1∑nrt+k−n1k=1∑nEt+k[rt+k∣Hk]∣>ε]≤ε2Dmax∣ρ∣+nε2Dmax(1−∣ρ∣)
进一步可以由极限的保号性可以得到: lim n → ∞ P [ ∣ 1 n ∑ k = 1 n r t + k − 1 n ∑ k = 1 n E t + k [ r t + k ∣ H k ] ∣ > ε ] ≤ D max ∣ ρ ∣ ε 2 \lim_{n\rightarrow \infty} \mathbb{P}[|\frac{1}{n}\sum_{k=1}^nr_{t+k}-\frac{1}{n}\sum_{k=1}^n\mathbb{E}{t+k}[r{t+k}|H_k]|>\varepsilon]\leq\frac{D_{\max}|\rho|}{\varepsilon^2} n→∞limP[∣n1k=1∑nrt+k−n1k=1∑nEt+k[rt+k∣Hk]∣>ε]≤ε2Dmax∣ρ∣
Proof ：设 a n = P [ ∣ 1 n ∑ k = 1 n r t + k − 1 n ∑ k = 1 n E t + k [ r t + k ∣ H k ] ∣ a_n= \mathbb{P}[|\frac{1}{n}\sum_{k=1}^nr_{t+k}-\frac{1}{n}\sum_{k=1}^n\mathbb{E}{t+k}[r{t+k}|H_k]| an=P[∣n1∑k=1nrt+k−n1∑k=1nEt+k[rt+k∣Hk]∣，设 lim n → ∞ a n = c 1 \lim_{n\rightarrow \infty} a_n = c_1 limn→∞an=c1， b n = D max ∣ ρ ∣ ε 2 + D max ( 1 − ∣ ρ ∣ ) n ε 2 b_n=\frac{D_{\max}|\rho|}{\varepsilon^2}+\frac{D_{\max}(1-|\rho|)}{n\varepsilon^2} bn=ε2Dmax∣ρ∣+nε2Dmax(1−∣ρ∣),令 c 2 = D max ∣ ρ ∣ ε 2 c_2=\frac{D_{\max}|\rho|}{\varepsilon^2} c2=ε2Dmax∣ρ∣,则： lim n → ∞ b n = c 2 \lim_{n\rightarrow \infty} b_n = c_2 limn→∞bn=c2，由假设可知 a n ≤ b n a_n\leq b_n an≤bn恒成立。待证明 c 1 ≤ c 2 c_1\leq c_2 c1≤c2,下面采用反证法证明：
不妨设 c 1 > c 2 c_1 > c_2 c1>c2,则有：
lim n → ∞ ( a n − b n ) = c 1 − c 2 > 0 \lim_{n\rightarrow \infty}(a_n-b_n)=c_1-c_2>0 n→∞lim(an−bn)=c1−c2>0由极限的保号性： ∃ N \exists N ∃N,当 n > N n>N n>N时有 a n − b n > 0 a_n-b_n>0 an−bn>0，即 a n > b n a_n>b_n an>bn，然而这与条件 a n ≤ b n a_n\leq b_n an≤bn恒成立矛盾，因此得证 c 1 ≤ c 2 c_1\leq c_2 c1≤c2。
（问题） 所以目前一个重要的问题是：ρ i j \rho_{ij} ρij如何进行估计？