2.3 独立性

2.3.1 条件概率

考虑概率空间 (Ω,U,P) ,其中 A,B∈U 是两个事件,且 P(B)>0 。我们希望找到下面的 条件概率 的合理定义。

P(A|B)=给定 B 条件下 A 的概率

我们可以画出这张图, Ω 里面有一个点 w∈B ,我们想知道它属于 A 的概率。我们可以将 B 视为一个新的概率空间: Ω~:=B , U~:={C∪B:C∈U} , P~:=PP(B) 。我们立刻有 P~(Ω~)=1 , P~(A∩B)=P(A∩B)P(B)

定义 2.24(条件概率) 事件 B 满足 P(B)>0 ,定义事件 B 发生下事件 A 的条件概率为

P(A|B):=P(A∩B)P(B).

2.3.2 独立事件

明确了条件概率后我们就要看看事件之间相互独立是指什么了。这应该对应着 P(A|B)=P(A) ,这可以理解为知道事件 B 的发生与否对事件 A 的发生与否没有贡献。因此假设 P(B)>0 ,我们就有 P(A∩B)=P(A)P(B) ,下面我们依照这个事实对独立性做一个定义

定义 2.25(两事件的独立性) 两个事件 A 和 B 独立,是指

P(A∩B)=P(A)P(B)

假如两个事件 A 和 B 相互独立,那么 Ac 和 B , A 和 Bc , Ac 和 Bc 也是相互独立的。进一步地我们可以将定义扩展到多个事件

定义 2.26(相互独立的事件族) 一族事件 A1,…,An,… 是相互独立是指对任取的 1⩽k1<k2<⋯<km ,有

P(Ak1∩Ak2∩⋯∩Akm)=P(Ak1)P(Ak2)⋯P(Akm).

我们还可以定义 σ -代数 之间的独立关系

定义 2.27(相互独立的 σ -代数族) 一组子 σ -代数 Ui⊂U ,其中 i=1,… 是独立的,是指对任取的 1⩽k1<k2<⋯<km 和其中的任意事件 Aki∈Uk ,有

P(Ak1∩Ak2∩⋯∩Akm)=P(Ak1)P(Ak2)⋯P(Akm).

2.3.3 独立随机变量

接下来我们考虑随机变量的独立性。

定义 2.28(相互独立的随机变量族) 考虑一族随机变量 Xi:Ω→Rn,i=1,… ,假如对任意整数 k⩾2 ,任取的 Borel 集 B1,…,Bk⊂Rn ,有

P(X1∈B1,X2∈B2,…,Xk∈Bk)=P(X1∈B1)P(X2∈B2)⋯P(Xk∈Bk),

就称 X1,… 是相互独立的。这相当于说它们生成的 σ -代数 {Ui}i=1∞ 是相互独立的。

示例 2.29(Rademacher 函数) 取 Ω=[0,1) , U 为 [0,1) 上的 Borel 子集, P 为 Lebesgue 测度。对 n=1,2,… ,定义

Xn(ω)={1if k2n⩽ω⩽k+12n,k∈2Z−1if k2n⩽ω⩽k+12n,k∈2Z+1,0⩽ω⩽1.

这样的函数叫做 Rademacher 函数,可以验证它们是相互独立的。仔细观察可以验证,该函数与小数的二进制表示有关。如果二进制小数 x 的第 k 位小数是 0 ,则 Xk(x)=1 ,反之则为零。因此给定一个 x∈[0,1) ,序列 X1(x),X2(x),… 与 x 的二进制表示一一对应。现在我们考虑 e1,…,ek∈{−1,+1} ,并验证

P(X1=e1,…,Xk=ek)=P(X1=e1)⋯P(Xk=ek).

上面式子的左边其实是确定了二进制小数前 k 位的值,因此取值的浮动只能在 12k 的范围内,我们考虑 Lebesgue 测度,因此左边就等于 12 。接下来考虑右边。观察函数可以得到,不论下标和 ei 取何值,都有 P(Xi=ei)≡12 ,而右边刚好有 k 项。由于 k 是任取的,我们就证明了 X1,… 是相互独立的。 这其实也是符合直觉的,因为二进制小数部分的每一位是可以自由选择的,不存在选择了某一位之后另外一位的取值就受到影响。

定理 2.30(相互独立的随机变量族划分后构造的新随机变量相互独立) 考虑相互独立的随机变量 X1,…,Xm+n ,并考虑函数 f:(Rk)n→R , g:(Rk)m→R ,则

Y:=f(X1,…,Xn),Z:=g(Xn+1,…,Xn+m)

这两个随机变量是独立的。

定理 2.31(相互独立随机变量的联合分布函数/分布密度函数满足乘积性质) 一族 n 维实值随机变量 X1,…,Xm:Ω→Rn 相互独立,当且仅当

FX1,…,Xm(x1,…,xm)=FX1(x1)⋯FXm(xm)

其中 xk∈Rn,k=1,…,m 。 如果它们都存在对应的密度函数,这相当于

fX1,…,Xn(x1,…,xm)=fX1(x1)⋯fXm(xm)

证明. 一方面,假如 X1,…,Xm 相互独立,根据联合分布函数的定义,就有

FX1,…,Xm(x1,…,xm)=P(X1⩽x1,…,Xm⩽xm)=P(X1⩽x1)⋯P(Xm⩽xm)随机变量的独立性=FX1(x1)⋯FXm(xm)分布函数的定义

另一方面,假如所有随机变量有对应的密度函数,对每个 i=1,…,m ,选一个 Ai∈U(Xi) 所以存在某个 Bi∈B ,使得 Ai=Xi−1(Bi) 。因此

P(A1∩⋯∩Am)=P(X1∈B1,…,Xm∈Bm)=∫B1×⋯×BmfX1,…,Xm(x1,…,xm)dx1⋯dxm=(∫B1fX1(x1)dx1)⋯(∫BmfXm(xm)dxm)第二个条件=P(X1∈B1)⋯P(Xm∈Bm)=P(A1)⋯P(Am)

因此 U(X1),…,U(Xm) 是相互独立的 σ -代数。

定理 2.32(相互独立且存在期望的随机变量的联合期望等于单独期望的乘积) 一族实值随机变量 X1,…,Xm 相互独立,且 E(|Xi|)<∞,i=1,…,m ,则有

E(|X1⋯Xm|)<∞E(X1⋯Xm)=E(X1)⋯E(Xm).

证明. 假设每个随机变量都有界,且存在对应的密度函数,于是

E(X1,…,Xm)=∫Rmx1⋯xmfX1,…,Xm(x1,…,xm)dx1…xm=(∫Rx1fX1(x1)dx1)⋯(∫RxmfXm(xm)dxm)密度函数性质、拆开积分区域=E(X1)⋯E(Xm)

定理 2.33(相互独立方差存在的随机变量之和的方差等于方差之和) 一族实值随机变量 X1,…,Xm 相互独立,且 V(Xi)<∞,i=1,…,m ,则有

V(X1+⋯+Xm)=V(X1)+⋯+V(Xm).

证明. 我们用归纳法证明。当 m=2 时,令 m1=E(X1),m2=E(X2) ,于是有 E(X1+X2)=m1+m2 ,以及

V(X1+X2)=∫Ω(X1+X2−(m1+m2))2dP=∫Ω(X1−m1)2dP+∫Ω(X2−m2)2dP+2∫Ω(X1−m1)(X2−m2)dP=V(X1)+V(X2)+2E[(X1−m1)(X2−m2)]=V(X1)+V(X2)+2E[X1−m1]E[X2−m2]⏟0定理 2.32

然后我们就可以用 2.30 不断构造新的随机变量,完成我们的归纳法证明。