2.2 期望和方差

2.2.1 关于测度的积分

定义 2.16 (随机变量 X 关于概率测度 P 的积分) 设 (Ω,U,P) 是概率空间, X=∑i=1kaiχAi 是一个实值简单随机变量,定义 X 的积分为

∫ΩXdP:=∑i=1kaiP(Ai)

如果 X 是非负的随机变量,我们用简单随机变量积分的上确界定义它的积分

∫ΩXdP:=supY⩽X,Y simple∫ΩYdP.$$对于一般的实值随机变量$X:Ω→R$,定义其积分值为正部的积分减去负部的积分(若二者至少有一个有限):$$∫ΩXdP:=∫ΩX+dP−∫ΩX−dP,

其中 X+:=max{X,0} , X−:=max{−X,0} ;容易验证 X=X+−X− 。

注解 2.16

  1. 事实上,这里的积分就是随机变量 X 在概率测度 P 下的 Lebesgue 积分,不难发现我们可以将其理解为对 “值域进行分割”。
  2. 我们假设后面出现的所有积分都存在且有限

术语约定 2.17 对于 n 维随机变量 X:Ω→Rn ,其中 X=(X1,…,Xn) ,我们将其积分写为

∫ΩXdP=[∫ΩX1dP,⋯,∫ΩXndP]

定义 2.18 (期望,方差) 假设 X:Ω→Rn 是一个向量值的随机变量,称

E(X):=∫ΩXdP$$为它(在概率测度$P$下)的期望(或均值),称$$V(X):=∫Ω∥X−E(X)∥22dP

为它的方差。不难验证 V(X)=E(∥X∥22)−∥E(X)∥22 .

2.2.2 分布函数

本节中我们默认概率空间是 (Ω,U,P) ,并有一个随机变量 X:Ω→Rn 。

术语约定 2.19 取向量 x=(x1,…,xn),y=(y1,…,yn)∈Rn ,如果对每一个 i=1,…,n ,都有 xi⩽yi ,我们就说 x⩽y 。 事实上这在 Rn 上构造了一个偏序。

定义 2.20 (分布函数) 随机变量 X 的分布函数 FX:Rn→[0,1] 定义如下

FX(x):=P(X⩽x),for all x∈Rn

更一般地,对于多个随机变量 X1,…,Xm:Ω→Rn ,它们的联合分布函数 FX1,…,Xm:(Rn)m→[0,1] 定义为

FX1,…,Xm(x1,…,xm):=P(X1⩽x1,…,Xm⩽xm)

其中 xk∈Rk,k=1,…,m

定义 2.21(密度函数) X:Ω→Rn 是随机变量, F=FX 是它的分布函数。假如存在一个非负可积的函数 f:Rn→R 使得

F(x)=F(x1,…,xn)=∫−∞x1⋯∫−∞xnf(y1,…,yn)dyn⋯dy1$$则我们称$f$是$X$的密度函数。进而可以得到对任意的$B∈B$,都有$$P(X∈B)=∫Bf(x)dx.

引理 2.22 如果随机变量 X 的分布函数 Fx 存在对应的密度函数 f ,并考虑 g:Rn→R ,且 g(X) 是可积的(这里 g 可积和 g(X) 可积是一个意思吗?)则有

E(g(X))=∫Rng(x)f(x)dx$$特别地,有$$E(X)=∫Rnxf(x)dx,V(X)=∫Rn|x−m|2f(x)dx

其中 m:=E(X) 。

注释 2.23 这样一来我们就能通过在 Rn 上求积分的方式得到 E(X) 和 V(X) 。但需要注意概率空间 (Ω,U,P) 是 “难以看见的”,而我们所看见的是经过 X 映射后在 Rn 中的东西。 事实上,所有概率论中感兴趣的量都可以在 Rn 中通过密度函数 f 求得

证明. 我们从简单的情况开始。首先假设 g 是 Rn 上的一个简单函数:

g=∑i=1mbiχBi,Bi∈B

这样就有

E(g(X))=∑i=1mbi∫ΩχBi(X)dP=∑i=1mbiP(X∈Bi)

另一方面

∫Rng(x)f(x)dx=∑i=1mbi∫Rnf(x)χBidx=∑i=1mbi∫Bif(x)dx=∑i=1mbiP(x∈Bi).

这样我们就得到当 g 是简单函数时引理成立。由于一般的函数可由简单函数逼近,对于一般的函数上面的引理也成立。