2.4 一些概率论中的工具和方法
2.4.1 Chebyshev 不等式
引理 2.34(Chebyshev)
是一个随机变量,
满足
,则对任意
,有
证明.
2.4.2 Borel–Cantelli 引理
定义 2.35(无限发生的事件)
给定概率空间中的事件序列
,其中发生无限次的事件的集合可以写为
记作
定义中里面的可数无穷并说的是确定一个
,然后把所有指标大于
的事件收集起来;前面一个无穷交相当于取了一个极限,所有只在事件序列中出现有限次的点
都会被过滤掉,剩下的就是发生了无限次的事件。例如掷两枚硬币,第一枚是理想的硬币,一直掷下去就会得到
这样的序列,正面和翻面都会出现无限次,因此对应的发生无限次的事件的集合就是
;假如第二枚硬币是做了手脚的,扔了几次之后每次抛掷得到的结果总是正面,对应发生无限次的事件的集合就是
因为
只发生了有限次,它就在上面去极限的过程中被过滤掉了。
引理 2.36(Bodel-Cantelli)
如果一个事件序列
满足
,则
证明.
根据定义,对每个
,有
因为级数
,令
,就能得到
。
考虑定义在某个概率空间的随机变量序列
依概率收敛 到某一随机变量
指的是对任意
,都有
事实上我们有下面的定理,揭示了上述例子和 Borel-Cantelli 引理之间的关系
定理 2.37(依概率收敛的随机变量子列几乎必然收敛到原极限)
如果
依概率收敛到
(记为
)则存在一个子序列
,使得
证明. 对每个正整数
,我们找一个很大的
,使其满足
同时保证
因此显然
。令
,由于每个
发生概率的上界构成的级数
,因此可以使用 Borel-Cantelli 引理,就有
。这句话的意思是,几乎每个样本空间的样本点
,
发生的次数是有限的(否则如果可能发生无限次,
的概率就不为零了,另一方面
发生无限次的样本点集合的概率测度为零),因此我们能找到
最后一次发生的指标,然后选取一个比它大的
,对所有
,有
,这时候把
推向无穷大,就有
。
2.4.3 特征函数
定义 2.38 (随机变量的特征函数)
假设
是一个
维实值随机变量,定义其特征函数为
示例 2.39 (Gaussian 随机变量的特征函数)
考虑服从
的随机变量,其特征函数是
此时我们会想做变换
。而复分析给了我们依据。积分里面的函数在复平面上是解析的,根据 Cauchy 积分定理,我们将积分路径(实轴)往虚轴正方向移
得到的两条路径是同伦的(考虑两条路径在 Riemann 球面上的投影),因此积分值相同,而我们知道
,就得到
。
一般的 Gaussian 随机变量也同理,最后得到的结果是
引理 2.40 (特征函数继承 Fourier 变换的性质)
( 和的特征函数等于各自特征函数的积 )如果
是独立随机变量,对所有
,有
( 特征函数的
阶导相当于将
的特征函数在复平面内旋转
次)如果
是实值随机变量,则对任意非负整数
,有
( 特征函数决定分布函数 )
和
是两个随机变量,则
证明.
(1)
内积线性性独立性
(2)(3)略
示例 2.41 (相互独立的 Gaussian 随机变量之和)
两个随机变量
,
,则
因为