2.5 大数定律和中心极限定理

2.5.1 独立同分布的随机变量

定义 2.42 (同分布) 一族随机变量 X1,…,Xn,… 若对所有 x ,满足

FX1(x)=FX2(x)=⋯=FXn(x)=⋯

则称它们是同分布的。

如果我们在同分布的基础上,嘉定这些随机变量是相互独立的,我们就可以将它们视为一系列结果可观测的独立重复试验,给定样本空间的点 ω∈Ω ,我们可以得到随机变量序列在其上的取值序列。下面的内容揭示了这样的序列遵循的规律

2.5.2 强大数定律

定理 2.43 (强大数定律) 考虑同一概率空间下一个独立同分布且可积的随机变量序列 X1,…,Xn,… ,记 m=E(Xi),i=1,… ,则有

P(limn→∞X1+⋯+Xnn=m)=1.或者说1n∑i=1nXi→ma.s.

证明. 不失一般性,我们假设这些随机变量都是实值的、四阶矩存在,且均值为零(假设不为零,我们就考虑 Xi−m )。接下来考虑随机变量部分和的四阶矩:

E[(∑i=1nXi)4]=∑i,j,k,lE(XiXjXkXl)

当求和指标中的 i 和 j,k,l 都不同时,根据独立性,有

E(XiXjXkXl)=E(Xi)⏟0E(XjXkXl)=0

由于 i,j,k,l 这四个指标的地位是等同的,可以发现求和项里面只会剩下 XXXX 或者 XXYY 这样的组合了,因为其余的组合根据独立性都会变成零。因此四阶矩可以化简:

E[(∑i=1nXi)4]=(44)∑i=1nE(Xi4)+(42)∑i,j=1,i≠jE(Xi2Xj2)=∑i=1nE(Xi4)+3∑i,j=1,i≠jE(Xi2Xj2)=nE(X14)+3(n2−n)[E(X12)]2⩽Cn2独立同分布

C 是某个常数,这说明四阶矩的阶是 O(n2) 。接下来我们来看我们得到的结果和我们要证明的目标的关系。回想前文提到的 Chebyshev 不等式,它说对于任意 1⩽p<∞ 和 λ>0 ,有

P(|X|⩾λ)⩽1λpE(|X|p)

令 p=4 ,然后代入我们的证明目标:

P(|1n∑i=1nXi|⩾ε)=P(|∑i=1nXi|⩾nε)⩽1(nε)4E[(∑i=1nXi)4]Chebyshev 不等式⩽Cε4n2被 1n2 控制

注意上面的式子是和 n 有关的,且因为组成的级数被 ∑1n2 控制,因此有 ∑nP(An)<∞ 。根据 Borel-Cantelli 引理,有

P(|1n∑i=1nXi|⩾ε  i.o.)=0

取 ε=1k ,这就说明

lim supn→∞|1n∑i=1nXi|⩽εa.s.

也即除了样本空间中的一个零测集 Bk 中的元素,其他元素都遵循上面的规则。令 B=⋃k=1∞Bk ,显然有 P(B)=P(Bk)=0 。把 k 推向无穷大,对于所有 ω∈Ω∖B ,都有

limn→∞1n∑i=1nXi(ω)=0.

也即 1n∑i=1nXi→ma.s. 。

2.5.3 扰动和 Laplace-De Moivre 定理

我们已经有了大数定律,接下来我们研究这个极限中的扰动。

引理 2.44 假设 X1,…,Xn,… 独立同分布:

{P(Xi=1)=pP(Xi=0)=q$$其中$p,q⩾0,p+q=1$,则$$E(X1+⋯+Xn)=np,V(X1+⋯+Xn)=npq.

定理 2.45 (Laplace-De Moivre) X1,…,Xn 是独立同分布的实值随机变量,并有引理中的性质。定义 Sn:=X1+⋯+Xn ,则对所有的 −∞<a<b<+∞ ,有

limn→∞P(a⩽Sn−npnpq⩽b)=12π∫abe−x2/2dx.

我们可以对该定理的结果做一些进一步发观察。首先有

Sn−npnpq=Sn−E(Sn)V(Sn)

可见 Laplace-De Moivre 定理指出标准化后的部分和 Sn 当 n→∞ 时会趋于标准 Gaussian 分布 N(0,1) 。考虑 p=q=12 的特殊情况,假设 a>0 ,有

limn→∞P(−an2⩽Sn−n2⩽an2)=12π∫−aae−x2/2dx

固定 b>0 ,并令 a=2bn ,则当 n→∞ ,有

P(−b⩽Sn−n2⩽b)≈12π∫−2bn2bne−x2/2dx→0.

根据强大数定律对几乎所有 ω ,有 Sn(ω)2→12 ,然而根据上面的定理, |Sn(ω)−n2| 必然会产生幅度超过任意有限值 b 的震荡。

2.5.4 中心极限定理

定理 2.46 (中心极限定理) 一列独立同分布的实值随机变量 X1,…,Xn,… 满足

E(Xi)=m,V(Xi)=σ2>0,$$并记$Sn:=X1+⋯+Xn$,则对所有的$−∞<a<b<∞$,有$$limn→∞P(a⩽Sn−mnnσ⩽b)=12π∫abe−x2/2dx.

读者可以看到中心极限定理的形式和刚刚见到的 Laplace-De Moivre 定理非常类似,可见其结论不仅适用于只有 0,1 取值的随机变量,还可应用于更广泛的独立同分布、有限方差的随机变量的情形。

下面给出中心极限定理的大致证明框架。 首先假设 m=0,σ=1 ,然后对 Sn 做标准化,因为它是 n 个独立同分布的随机变量的和,所以除以 n 。考虑标准化后随机变量的特征函数

ϕSnn(λ)=ϕX1n(λ)⋯ϕXnn(λ)=(ϕX1(λn))n

其中 λ∈R 。最后一个等号显示出的是特征函数的一个性质,系数从外面穿脱到里面,相当于在特征函数的定义里的实内积中把一边的系数移到了另一边。方便起见记 ϕ=ϕX1 ,并考虑其在零处的 Taylor 展开

ϕ(μ)=ϕ(0)+ϕ′(0)μ+12ϕ″(0)mμ2+o(μ2),μ→0

根据特征函数性质,有 ϕ(0)=1 , ϕ′(0)=iE(X1)=0 , ϕ″(0)=−E(X12)=−1 。此时我们可以用上面的结果研究 ϕX1(λn) ,设 μ=λn ,就有

ϕX1(λn)=1−λ22n+o(λ2n)

进而对任意 λ ,当 n→∞ 时,有

ϕSn(λn)=[1−λ22n+o(λ2n)]n=e−λ2/2

而 e−λ2/2 实际上就是标准 Gaussian 分布的特征函数。