2.6 条件期望

2.6.1 动机

我们之前定义了条件分布 P(A|B) ,现在我们思考应该如何定义条件期望 E(X|B) —— 给定事件 B 下随机变量 X 的期望?回忆我们在定义条件概率的时候构造了一个新的概率空间,其中概率测度是 P~=PP(B) ,如果 P(B)>0 ,那么给定事件 B 下的条件期望就可以写成

E(X|B)=1P(B)∫BXdP.

这还没有结束。如果考虑给定随机变量 Y 下随机变量 X 的条件期望 E(X|Y) 应该如何定义?或者说,对于样本空间 Ω 中的一个样本点 ω ,我们知道在在一个随机变量下的取值 Y(ω) ,我们如何对 X(ω) 作出最优的估计?

事实上这涉及到很多细节,并对概率论理论而言十分重要,下面我们将逐步介绍。

2.6.2 条件期望的第一种构造

示例 2.47 考虑概率空间 (Ω,U,P) 和定义在其上的随机变量 Y 。定义 Y=∑i=1maiχAi ,其中 ai 是两两不同的实数, {Ai} 是 Ω 的一个划分。现在令 X 是 Ω 上的另一个随机变量,已知 Y 的值,我们需要估计 X 在该条件下的期望,这似乎非常自然 —— 我们能找到对应的样本点属于哪一个事件,就在该事件发生的条件下计算 X 的期望:

E(X|Y):={1P(A1)∫A1XdP,ω∈A11P(A2)∫A2XdP,ω∈A2⋮1P(Am)∫AmXdP,ω∈Am

需要注意的是下面三点

  • E(X|Y) 是一个随机变量,不是一个常数

  • E(X|Y) 是 U -可测的

  • 对所有 A∈U(Y) ,有 ∫AXdP=∫AE(X|Y)dP

这就引出了下面的定义

定义 2.48 (随机变量对随机变量的条件期望) X 和 Y 是定义在同一概率空间 Ω 下的随机变量,给定 Y 下 X 的条件期望是任何满足下面条件的 U -可测随机变量 Z :

∫AXdP=∫AZdP,∀A∈U(Y).

注解 2.49 上面定义中的满足条件的 Z 只可能在零测集中的取值有不同 —— 它们在几乎必然的意义下是唯一的。因此我们接下来将 Z 写为 E(X|Y)

读者会发现,上述问题中出镜最多的不是随机变量 Y ,而是它生成的 σ -代数。我们其实可以将其写为 E(X|U(Y)) 。下面的定义将其做了扩展:我们可以写出任意概率空间的子 σ -代数的条件期望

定义 2.50 (随机变量对子 σ -代数的条件期望) (Ω,U,P) 是一个概率空间, V⊂U 是一个子 σ -代数。如果 X:Ω→Rn 是一个可积随机变量,条件期望 E(X|V) 是满足下面条件的 Ω 上的任意随机变量:

  • E(X|V) 是 V -可测的
  • 对所有 A∈V ,有 ∫AXdP=∫AE(X|V)dP

注解 2.50 可以这么理解: E(X|V) 给出了在拥有了 V 中信息的条件下随机变量 X 的估计。 定义里面第一条说的是 E(X|V) 可以由 V 中的信息构造 第二条说的是 E(X|V) 必须和 X 相容 —— 至少对 V 中的事件来说积分要一样 条件期望有下面几个简单性质

  1. E(X|Y)=E(X|U(Y))
  2. E(E(X|V))=E(X)
  3. E(X)=E(X|W) ,其中 W={∅,Ω} 是平凡 σ -代数

定理 2.51 X 是可积随机变量,对任意子 σ -代数 V⊂U ,条件期望 E(X|V) 总是存在,并在允许概率为零的 V -可测集取值不同的意义下都相等。

2.6.3 条件期望的第二种构造

我们首先看看一个看起来不怎么相关的问题 —— 最小二乘问题。

考虑 Euclid 空间 (Rn,|⋅|) 和它的一个子空间 V 。最小二乘问题说的是给定一个 Rn 中的元素 x ,找一个 V 中的元素 z 使得它离 x 之间的距离最近:

|z−x|2=miny∈V|y−x|2

我们称这样的 z (若存在)是 x 在 V 上的 投影,记为 projV(x) 。我们可以引入一个向量 w∈V 来帮助我们找到这个问题的解。对于标量 τ ,定义

i(τ):=|z+τw−x|2

根据上文中 z 的最优性,函数 i(τ) 必然在 τ=0 处取到最小值,因为 i(τ) 是凸函数,必然有 i′(0)=0 ,对任意的 w 都有

⟨z−x,w⟩=0⟺⟨x,w⟩=⟨z,w⟩

这说明 z−x⊥V 或者说 z−x∈V⊥ 。

把视角拉回条件期望。考虑 L2(Ω)=L2(Ω,U) ,它是满足下面条件的 U -可测的实值随机变量全体构成的线性空间,满足平方可积的条件:

∥Y∥L2(Ω):=[∫ΩY2dP]1/2<∞,

其中 ∥⋅∥ 是 L2(Ω) 上的 范数。对于 X,Y∈L2(Ω) ,定义它们的 内积 为

⟨X,Y⟩L2(Ω):=∫ΩXYdP=E(XY).

现在考虑 U 的一个子 σ -代数 V ,和对应的 V=L2(Ω,V) —— 所有平方可积且 V -可测的随机变量构成的线性空间 —— 它是 L2(Ω) 的一个闭子空间。仿照最小二乘的做法,我们也可以定义 X∈L2(Ω) 到 V 上的投影 Z=projV(X) 。继续仿照上面引入一个 V 中的向量 W ,我们也可以得出相同的结论:

⟨X,W⟩L2(Ω)=⟨Z,W⟩L2(Ω),∀W∈V.

我们取 V 中的任意事件 A ,然后令 W=χA ,就有

∫AXdP=∫AZdP,∀A∈V.

由于 Z∈V , Z 是 V -可测的,它其实就是条件期望 E(X|V) ,我们至此就发现了它与投影之间的奇妙联系:

E(X|V)=projV(X).

换句话说,条件期望 Z=E(X|V) 是下面最小二乘问题的解

∥Z−X∥L2(Ω)2=minY∈V∥Y−X∥L2(Ω)2,

它是最 “接近” X 的 V -可测随机变量。

2.6.4 条件期望的诸性质

现在万事俱备,可以介绍条件期望的性质了

定理 2.52 (条件期望的诸性质)

  1. a,b 是常数,则 E(aX+bY|V)=aE(X|V)+bE(X|V)a.s.
  2. X 是 V -可测的,则 E(X|V)=Xa.s.
  3. X 是 V -可测的, XY 可积,则 E(XY|V)=X⋅E(Y|V)a.s.
  4. X 和 V 相互独立,则 E(X|V)=E(X)a.s.
  5. W⊂V ,则 E(X|W)=E(E(X|V)|W)=E(E(X|W)|V)a.s.
  6. X⩽Ya.s.⟹E(X|V)⩽E(Y|V)a.s.

证明. (1)和(2)是显然的 (3)首先假设 X 是简单函数,也即 X=∑i=1mbiχBi ,其中 Bi∈V,i=1,…,m ,于是

∫AX⋅E(Y|V)dP=∑i=1mbi∫A∩BiE(Y|V)dP=∑i=1mbi∫A∩BiYdP注意 A∩Bi∈V, 用性质 1=∫AXYdP

接着可以用简单函数逼近任意的随机变量。最后根据条件期望在 a.s. 意义下的唯一性即可。 (4)它等价于证明对任意 A∈V ,都有 ∫AE(X)dP=∫AXdP 。这并不难:

∫AXdP=∫ΩχAXdP=E(χAX)=E(χA)E(X)=E(X)∫AdP=E(X)P(A)X 和 V 独立=∫AE(X)dP

(5)假设 A∈W 且 W⊂V 。一方面,连用两次性质 2,有

∫AE(E(X|V)|W)dP=∫AE(X|V)dP=∫AXdP

这就证明了 E(X|W)=E(E(X|V)|W)a.s. 。另一方面,因为 E(X|W) 是 W -可测的,所以它一定是 V -可测的,因此 E(E(X|W)|V)=E(X|W) 。 (6)对任意 A∈V ,我们可以这样构造

∫AE(Y|V)−E(X|V)dP=∫AE(Y−X|V)dP=∫AY−XdP⩾0,

我们可以取 A={E(Y|V)−E(X|V)⩽0} ,这样根据上面的结果只有 P(A)=0 (因为根据 A 的定义,上面的积分只能小于等于零)

定理 2.53 (条件 Jensen 不等式) 考虑凸函数 Φ:R→R ,且 E(|Φ(X)|)<∞ ,则

Φ(E(X|V))⩽E(Φ(X)|V)

证明. 如果 Φ 是线性的,结果显而易见 如果 Φ 不是线性的,构造 SΦ:={(a,b):ax+b⩽Φ(x),∀x∈R} ,则 Φ(x)=sup{ax+b:(a,b)∈SΦ} 。根据条件期望性质,有

E(Φ(X)|V)⩾aE(X|V)+ba.s.

对所有 (a,b)∈SΦ 取上确界,就有

E(Φ(X)|V)⩾Φ(E(X|V))a.s.