2.3 独立性
2.3.1 条件概率
考虑概率空间
,其中
是两个事件,且
。我们希望找到下面的 条件概率 的合理定义。
我们可以画出这张图,
里面有一个点
,我们想知道它属于
的概率。我们可以将
视为一个新的概率空间:
,
,
。我们立刻有
,
定义 2.24(条件概率)
事件
满足
,定义事件
发生下事件
的条件概率为
2.3.2 独立事件
明确了条件概率后我们就要看看事件之间相互独立是指什么了。这应该对应着
,这可以理解为知道事件
的发生与否对事件
的发生与否没有贡献。因此假设
,我们就有
,下面我们依照这个事实对独立性做一个定义
定义 2.25(两事件的独立性)
两个事件
和
独立,是指
假如两个事件
和
相互独立,那么
和
,
和
,
和
也是相互独立的。进一步地我们可以将定义扩展到多个事件
定义 2.26(相互独立的事件族)
一族事件
是相互独立是指对任取的
,有
我们还可以定义
-代数 之间的独立关系
定义 2.27(相互独立的
-代数族)
一组子
-代数
,其中
是独立的,是指对任取的
和其中的任意事件
,有
2.3.3 独立随机变量
接下来我们考虑随机变量的独立性。
定义 2.28(相互独立的随机变量族)
考虑一族随机变量
,假如对任意整数
,任取的 Borel 集
,有
就称
是相互独立的。这相当于说它们生成的
-代数
是相互独立的。
示例 2.29(Rademacher 函数)
取
,
为
上的 Borel 子集,
为 Lebesgue 测度。对
,定义
这样的函数叫做 Rademacher 函数,可以验证它们是相互独立的。仔细观察可以验证,该函数与小数的二进制表示有关。如果二进制小数
的第
位小数是
,则
,反之则为零。因此给定一个
,序列
与
的二进制表示一一对应。现在我们考虑
,并验证
上面式子的左边其实是确定了二进制小数前
位的值,因此取值的浮动只能在
的范围内,我们考虑 Lebesgue 测度,因此左边就等于
。接下来考虑右边。观察函数可以得到,不论下标和
取何值,都有
,而右边刚好有
项。由于
是任取的,我们就证明了
是相互独立的。
这其实也是符合直觉的,因为二进制小数部分的每一位是可以自由选择的,不存在选择了某一位之后另外一位的取值就受到影响。
定理 2.30(相互独立的随机变量族划分后构造的新随机变量相互独立)
考虑相互独立的随机变量
,并考虑函数
,
,则
这两个随机变量是独立的。
定理 2.31(相互独立随机变量的联合分布函数/分布密度函数满足乘积性质)
一族
维实值随机变量
相互独立,当且仅当
其中
。
如果它们都存在对应的密度函数,这相当于
证明.
一方面,假如
相互独立,根据联合分布函数的定义,就有
随机变量的独立性分布函数的定义
另一方面,假如所有随机变量有对应的密度函数,对每个
,选一个
所以存在某个
,使得
。因此
第二个条件
因此
是相互独立的
-代数。
定理 2.32(相互独立且存在期望的随机变量的联合期望等于单独期望的乘积)
一族实值随机变量
相互独立,且
,则有
证明.
假设每个随机变量都有界,且存在对应的密度函数,于是
密度函数性质、拆开积分区域
定理 2.33(相互独立方差存在的随机变量之和的方差等于方差之和)
一族实值随机变量
相互独立,且
,则有
证明.
我们用归纳法证明。当
时,令
,于是有
,以及
定理
然后我们就可以用 2.30 不断构造新的随机变量,完成我们的归纳法证明。