2.6 条件期望
2.6.1 动机
我们之前定义了条件分布
,现在我们思考应该如何定义条件期望
—— 给定事件
下随机变量
的期望?回忆我们在定义条件概率的时候构造了一个新的概率空间,其中概率测度是
,如果
,那么给定事件
下的条件期望就可以写成
这还没有结束。如果考虑给定随机变量
下随机变量
的条件期望
应该如何定义?或者说,对于样本空间
中的一个样本点
,我们知道在在一个随机变量下的取值
,我们如何对
作出最优的估计?
事实上这涉及到很多细节,并对概率论理论而言十分重要,下面我们将逐步介绍。
2.6.2 条件期望的第一种构造
示例 2.47
考虑概率空间
和定义在其上的随机变量
。定义
,其中
是两两不同的实数,
是
的一个划分。现在令
是
上的另一个随机变量,已知
的值,我们需要估计
在该条件下的期望,这似乎非常自然 —— 我们能找到对应的样本点属于哪一个事件,就在该事件发生的条件下计算
的期望:
需要注意的是下面三点
这就引出了下面的定义
定义 2.48 (随机变量对随机变量的条件期望)
和
是定义在同一概率空间
下的随机变量,给定
下
的条件期望是任何满足下面条件的
-可测随机变量
:
注解 2.49
上面定义中的满足条件的
只可能在零测集中的取值有不同 —— 它们在几乎必然的意义下是唯一的。因此我们接下来将
写为
读者会发现,上述问题中出镜最多的不是随机变量
,而是它生成的
-代数。我们其实可以将其写为
。下面的定义将其做了扩展:我们可以写出任意概率空间的子
-代数的条件期望
定义 2.50 (随机变量对子
-代数的条件期望)
是一个概率空间,
是一个子
-代数。如果
是一个可积随机变量,条件期望
是满足下面条件的
上的任意随机变量:
-
是
-可测的
- 对所有
,有
注解 2.50
可以这么理解:
给出了在拥有了
中信息的条件下随机变量
的估计。
定义里面第一条说的是
可以由
中的信息构造
第二条说的是
必须和
相容 —— 至少对
中的事件来说积分要一样
条件期望有下面几个简单性质
-
-
-
,其中
是平凡
-代数
定理 2.51
是可积随机变量,对任意子
-代数
,条件期望
总是存在,并在允许概率为零的
-可测集取值不同的意义下都相等。
2.6.3 条件期望的第二种构造
我们首先看看一个看起来不怎么相关的问题 —— 最小二乘问题。
考虑 Euclid 空间
和它的一个子空间
。最小二乘问题说的是给定一个
中的元素
,找一个
中的元素
使得它离
之间的距离最近:
我们称这样的
(若存在)是
在
上的 投影,记为
。我们可以引入一个向量
来帮助我们找到这个问题的解。对于标量
,定义
根据上文中
的最优性,函数
必然在
处取到最小值,因为
是凸函数,必然有
,对任意的
都有
这说明
或者说
。
把视角拉回条件期望。考虑
,它是满足下面条件的
-可测的实值随机变量全体构成的线性空间,满足平方可积的条件:
其中
是
上的 范数。对于
,定义它们的 内积 为
现在考虑
的一个子
-代数
,和对应的
—— 所有平方可积且
-可测的随机变量构成的线性空间 —— 它是
的一个闭子空间。仿照最小二乘的做法,我们也可以定义
到
上的投影
。继续仿照上面引入一个
中的向量
,我们也可以得出相同的结论:
我们取
中的任意事件
,然后令
,就有
由于
,
是
-可测的,它其实就是条件期望
,我们至此就发现了它与投影之间的奇妙联系:
换句话说,条件期望
是下面最小二乘问题的解
它是最 “接近”
的
-可测随机变量。
2.6.4 条件期望的诸性质
现在万事俱备,可以介绍条件期望的性质了
定理 2.52 (条件期望的诸性质)
-
是常数,则
-
是
-可测的,则
-
是
-可测的,
可积,则
-
和
相互独立,则
-
,则
-
证明.
(1)和(2)是显然的
(3)首先假设
是简单函数,也即
,其中
,
,于是
注意用性质
接着可以用简单函数逼近任意的随机变量。最后根据条件期望在 a.s. 意义下的唯一性即可。
(4)它等价于证明对任意
,都有
。这并不难:
和独立
(5)假设
且
。一方面,连用两次性质 2,有
这就证明了
。另一方面,因为
是
-可测的,所以它一定是
-可测的,因此
。
(6)对任意
,我们可以这样构造
我们可以取
,这样根据上面的结果只有
(因为根据
的定义,上面的积分只能小于等于零)
定理 2.53 (条件 Jensen 不等式)
考虑凸函数
,且
,则
证明.
如果
是线性的,结果显而易见
如果
不是线性的,构造
,则
。根据条件期望性质,有
对所有
取上确界,就有