2.4 一些概率论中的工具和方法

2.4.1 Chebyshev 不等式

引理 2.34(Chebyshev) X 是一个随机变量, p 满足 1⩽p<∞ ,则对任意 λ>0 ,有

P(|X|⩾λ)⩽1λpE(|X|p)

证明.

E(|X|p)=∫Ω|X|pdP⩾∫|X|⩾λ|X|pdP⩾λpP(|X|⩾λ).

2.4.2 Borel–Cantelli 引理

定义 2.35(无限发生的事件) 给定概率空间中的事件序列 A1,…,An,… ,其中发生无限次的事件的集合可以写为

⋂n=1∞⋃m=n∞Am=lim supn→∞An.

记作 Ani.o.

定义中里面的可数无穷并说的是确定一个 n ,然后把所有指标大于 n 的事件收集起来;前面一个无穷交相当于取了一个极限,所有只在事件序列中出现有限次的点 ω 都会被过滤掉,剩下的就是发生了无限次的事件。例如掷两枚硬币,第一枚是理想的硬币,一直掷下去就会得到 THTTHHT⋯ 这样的序列,正面和翻面都会出现无限次,因此对应的发生无限次的事件的集合就是 {T,H} ;假如第二枚硬币是做了手脚的,扔了几次之后每次抛掷得到的结果总是正面,对应发生无限次的事件的集合就是 {H} 因为 T 只发生了有限次,它就在上面去极限的过程中被过滤掉了。

引理 2.36(Bodel-Cantelli) 如果一个事件序列 A1,… 满足 ∑n=1∞P(An)<∞ ,则

P(Ani.o.)=0.

证明. 根据定义,对每个 n ,有

P(Ani.o.)=P(⋂n=1∞⋃m=n∞Am)⩽P(⋃m=n∞Am)⩽∑m=n∞P(Am).

因为级数 ∑n=1∞P(An)<∞ ,令 n→∞ ,就能得到 P(Ani.o.)→0 。

考虑定义在某个概率空间的随机变量序列 {Xk}k=1∞ 依概率收敛 到某一随机变量 X 指的是对任意 ϵ>0 ,都有

limk→∞P(|Xk−X|>ϵ)=0.

事实上我们有下面的定理,揭示了上述例子和 Borel-Cantelli 引理之间的关系

定理 2.37(依概率收敛的随机变量子列几乎必然收敛到原极限) 如果 Xk 依概率收敛到 X (记为 Xk→PX )则存在一个子序列 {Xkj}j=1∞⊂{Xk}k=1∞ ,使得

Xkj→Xa.s.

证明. 对每个正整数 j ,我们找一个很大的 kj ,使其满足

P(|Xkj−X|>1j)⩽1j2,

同时保证 k1<⋯<kj−1<kj<⋯ 因此显然 kj→∞ 。令 Aj:={|Xkj−X|>1j} ,由于每个 Aj 发生概率的上界构成的级数 ∑1j2<∞ ,因此可以使用 Borel-Cantelli 引理,就有 P(Aji.o.)=0 。这句话的意思是,几乎每个样本空间的样本点 ω , Aj 发生的次数是有限的(否则如果可能发生无限次, A  i.o. 的概率就不为零了,另一方面 Aj 发生无限次的样本点集合的概率测度为零),因此我们能找到 Aj 最后一次发生的指标,然后选取一个比它大的 J(ω) ,对所有 j>J(ω) ,有 |Xkj(ω)−X(ω)|⩽1j ,这时候把 j 推向无穷大,就有 Xkj(ω)→X(ω)  a.s. 。

2.4.3 特征函数

定义 2.38 (随机变量的特征函数) 假设 X 是一个 n 维实值随机变量,定义其特征函数为

ϕX(λ):=E(ei⟨λ,X⟩),λ∈Rn

示例 2.39 (Gaussian 随机变量的特征函数) 考虑服从 N(0,1) 的随机变量,其特征函数是

ϕX(λ)=∫−∞∞eiλx12πe−x2/2dx=e−λ2/22π∫−∞∞e−(x−iλ)2/2dx

此时我们会想做变换 t←x+iλ 。而复分析给了我们依据。积分里面的函数在复平面上是解析的,根据 Cauchy 积分定理,我们将积分路径(实轴)往虚轴正方向移 λ 得到的两条路径是同伦的(考虑两条路径在 Riemann 球面上的投影),因此积分值相同,而我们知道 ∫−∞∞e−x2/2dx=2π ,就得到 ϕX(λ)=e−λ2/2 。 一般的 Gaussian 随机变量也同理,最后得到的结果是 ϕX(λ)=eimλ−λ2σ2/2

引理 2.40 (特征函数继承 Fourier 变换的性质) ( 和的特征函数等于各自特征函数的积 )如果 X1,…,Xm 是独立随机变量,对所有 λ∈Rn ,有

ϕX1+⋯+Xm(λ)=ϕX1(λ)⋯ϕXm(λ)

( 特征函数的 k 阶导相当于将 Xk 的特征函数在复平面内旋转 k 次)如果 X 是实值随机变量,则对任意非负整数 k ,有

ϕ(k)(0)=ikE(Xk)

( 特征函数决定分布函数 ) X 和 Y 是两个随机变量,则

ϕX(λ)=ϕY(λ)⟹FX(x)=FY(x)

证明. (1)

ϕX1+⋯+Xm(λ)=E(ei⟨λ,X1+⋯+Xm⟩)=E(ei⟨λ,X1⟩⋯ei⟨λ,Xm⟩)内积线性性=E(ei⟨λ,X1⟩)⋯E(ei⟨λ,Xm⟩)独立性=ϕX1(λ)⋯ϕXm(λ)

(2)(3)略

示例 2.41 (相互独立的 Gaussian 随机变量之和) 两个随机变量 X∼N(m1,σ12) , Y∼N(m2,σ22) ,则

X+Y∼N(m1+m2,σ12+σ22),

因为

ϕX+Y(λ)=ϕX(λ)ϕY(λ)=ei(m1+m2)λ−λ2(σ12+σ22)/2