2.5 大数定律和中心极限定理
2.5.1 独立同分布的随机变量
定义 2.42 (同分布)
一族随机变量
若对所有
,满足
则称它们是同分布的。
如果我们在同分布的基础上,嘉定这些随机变量是相互独立的,我们就可以将它们视为一系列结果可观测的独立重复试验,给定样本空间的点
,我们可以得到随机变量序列在其上的取值序列。下面的内容揭示了这样的序列遵循的规律
2.5.2 强大数定律
定理 2.43 (强大数定律)
考虑同一概率空间下一个独立同分布且可积的随机变量序列
,记
,则有
证明. 不失一般性,我们假设这些随机变量都是实值的、四阶矩存在,且均值为零(假设不为零,我们就考虑
)。接下来考虑随机变量部分和的四阶矩:
当求和指标中的
和
都不同时,根据独立性,有
由于
这四个指标的地位是等同的,可以发现求和项里面只会剩下
或者
这样的组合了,因为其余的组合根据独立性都会变成零。因此四阶矩可以化简:
独立同分布
是某个常数,这说明四阶矩的阶是
。接下来我们来看我们得到的结果和我们要证明的目标的关系。回想前文提到的 Chebyshev 不等式,它说对于任意
和
,有
令
,然后代入我们的证明目标:
不等式被控制
注意上面的式子是和
有关的,且因为组成的级数被
控制,因此有
。根据 Borel-Cantelli 引理,有
取
,这就说明
也即除了样本空间中的一个零测集
中的元素,其他元素都遵循上面的规则。令
,显然有
。把
推向无穷大,对于所有
,都有
也即
。
2.5.3 扰动和 Laplace-De Moivre 定理
我们已经有了大数定律,接下来我们研究这个极限中的扰动。
引理 2.44
假设
独立同分布:
其中,则
定理 2.45 (Laplace-De Moivre)
是独立同分布的实值随机变量,并有引理中的性质。定义
,则对所有的
,有
我们可以对该定理的结果做一些进一步发观察。首先有
可见 Laplace-De Moivre 定理指出标准化后的部分和
当
时会趋于标准 Gaussian 分布
。考虑
的特殊情况,假设
,有
固定
,并令
,则当
,有
根据强大数定律对几乎所有
,有
,然而根据上面的定理,
必然会产生幅度超过任意有限值
的震荡。
2.5.4 中心极限定理
定理 2.46 (中心极限定理)
一列独立同分布的实值随机变量
满足
并记,则对所有的,有
读者可以看到中心极限定理的形式和刚刚见到的 Laplace-De Moivre 定理非常类似,可见其结论不仅适用于只有
取值的随机变量,还可应用于更广泛的独立同分布、有限方差的随机变量的情形。
下面给出中心极限定理的大致证明框架。
首先假设
,然后对
做标准化,因为它是
个独立同分布的随机变量的和,所以除以
。考虑标准化后随机变量的特征函数
其中
。最后一个等号显示出的是特征函数的一个性质,系数从外面穿脱到里面,相当于在特征函数的定义里的实内积中把一边的系数移到了另一边。方便起见记
,并考虑其在零处的 Taylor 展开
根据特征函数性质,有
,
,
。此时我们可以用上面的结果研究
,设
,就有
进而对任意
,当
时,有
而
实际上就是标准 Gaussian 分布的特征函数。