2.1 基本定义

让我们从一个谜题开始。

2.1.1 Bertrand 悖论

问题 2.1(Bertrand 悖论) 假如平面上有一个长为 2 的的圆,然后我们 随机地 选一条弦。与以该圆同圆心,半径为 1 的圆相交的概率是多少?

  • 解法 1:由于每条弦由其中点唯一确定,因此与小圆相交的概率为小圆面积除以大圆面积,即 14 .
  • 解法 2:由于圆的旋转对称性,对于每一条弦,我们都能旋转整个图形,使得该弦是垂直的。大圆直径为 4 ,小圆直径为 2 ,弦与小圆相交,那它一定与(旋转后的)小圆直径相交(且垂直),因此概率为小圆直径除以大圆直径,即 12 .
  • 解法 3:由于圆的旋转对称性,我们总能旋转整个图形,使得它的一个端点位于大圆的最左侧。考虑弦与大圆水平直径的夹角 θ ,可知它落在 [−π2,π2] 之间,由几何关系可得,弦与小圆相交时, θ 落在 [−π6,π6] 之间。因此概率为这两个区间长度之比,也即 13

真是离谱到家了,同样的问题居然有三个不同的答案!

2.1.2 概率空间

一个很自然的疑问就是,上面到底出了什么问题?(如果上面没问题,那数学大厦就要塌了)注意到我把”随机地“三个字用颜色标出来了,问题就出在这里:我们没有良好的定义这里的随机到底是”怎么随机“的。为了解决这样的问题,我们引入概率空间的概念。

我们先有一个非空集合 Ω ,其中的子集我们称之为”事件“。

定义 2.2( σ -代数) 一个 σ 代数指的是非空集合 Ω 上的一个子集族 U ,并满足下面的条件

  • ∅,Ω∈U
  • 如果 A∈U ,那么其补集 Ac∈U
  • 如果一列集合 A1,⋯∈U ,那么有
⋃k=1∞Ak,⋂k=1∞Ak∈U.

定义 2.3 (概率测度) 设 U 是 Ω 上的一个 σ -代数,我们称

P:U→[0,1]

是一个概率测度,如果它满足下面的条件

  1. P(∅)=0 , P(Ω)=1
  2. 如果一列集合 A1,⋯∈U ,则
P[⋃k=1∞Ak]⩽∑k=1∞P(Ak)
  1. 如果一列集合 A1,⋯∈U 互不相交,则
P[⋃k=1∞Ak]=∑k=1∞P(Ak)

从这个定义我们得到:假如 A⊂B ,就有 P(A)⩽P(B) ,因为 P(B)=P(B)+P(B−A)⩾P(A) 。

定义 2.4(概率空间) Ω 是一个非空集合, U 是其上的一个 σ -代数, P 是 U 上的概率测度;我们称三元组 (Ω,U,P) 是一个概率空间。

术语约定 2.5

  1. 集合 A∈U 被称为一个事件, ω∈Ω 被称为样本点
  2. P(A) 是事件 A 的概率
  3. 如果一个属性,对除了概率为零得事件以外均为真,我们称其为几乎必然成立 (almost surely, 简写为 a.s.)。

概率空间是概率论的必要设定,在讨论或解决任何问题之前,我们都要明确它所指的概率空间是什么。现在回头看之前的 Bertrand 悖论,我们不难发现三个解法对悖论中的”随机“作出了不同的解读,对应着三个不同的概率空间。

下面给出一些典型的概率空间的示例。

示例 2.6 (Borel σ -代数、概率密度) 包含了 Rn 上所有开集的 σ -代数称为 Borel σ -代数,记为 B 。假设 f 是非负的,并有 ∫Rnfdx=1 。我们可以对任意的 B∈B 定义

P(B)=∫Bf(x)dx

于是 (Rn,B,P) 是一个概率空间, f 为概率测度 P 的概率密度。

示例 2.7 (Dirac 测度) 选定 Rn 中的一个点 x0 ,对任意的 B∈B ,定义

P(B):={1if x0∈B0if x0∉B

则 (Rn,B,P) 是一个概率空间,我们称 P 为集中在 x0 处的 Dirac 点质量,并将其记作 δx0 。

示例 2.8 (Buffon 投针问题) 现在我们要向一个平面上随机地投长度为 1 的针。平面上有一簇间隔距离为 2 的平行直线,求针投下后与其中一条平行线相交的概率。首先我们要找一个概率空间。记 h 为投下的针的中心到最近一条平行线的距离, θ<π2 为针所在直线与平行线的夹角。于是我们有 Ω=[0,π2)×[0,1] ,其中前者对应 θ 的取值,后者对应 h 的取值。接下来令 U 是 Ω 的 Borel 子集,并令概率测度 P 为

P(B)=2(area of B)πfor each B∈U,

这其实就是Borel子集与 Ω 相交的大小与 Ω 本身大小的比值。接下来我们记针与平行线相交为事件 A ,由几何关系可知此时 hsin⁡θ⩽12 。于是就有 A={(θ,h)∈Ω:h⩽sin⁡θ2} ,这样我们就能求得事件 A 的概率

P(A)=2(area of A)π=2π∫0π/212sin⁡θdθ=1π.

2.1.3 随机变量

定义 2.9 (随机变量, U -可测) 设 (Ω,U,P) 是一个概率空间,一个映射

X:Ω→Rn$$被称为一个$n$维随机变量,如果对任意$B∈B$,我们有$$X−1(B)∈U.

我们也称 X 是 U -可测的。(这说的其实是 X 是 U 到 B 的一个可测映射)

我们注意这里的 X−1(B)∈U ,这样定义是比使用像的版本 X(A)∈B 要更好,需要记住的是, U 和 B 都是 σ -代数,所以必须满足定义 2.2 中所述的若干条件。考虑 B1,B2∈B ,我们理应有

X−1(B1∪B2),X−1(B1∩B2),X−1(B1c)∈U.

事实上,我们有集合的交并补可以穿透原像算子,也即

f−1(A◻B)=f−1(A)◻f−1(B),f−1(Ac)=[f−1(A)]c

其中 ◻∈{∪,∩} 。假如我们将原像算子换成看似更加自然的求像集操作,也即对任意 U∈U ,有 f(U)∈B 。由类似地逻辑,我们需要验证对任意的 U,V∈U ,都有

X(U◻V)∈B,X(Uc)∈B.

而我们可以适当地构造反例让上面的条件不再成立。

术语约定 2.10

  1. 我们一般写 X ,而不写 X(ω)
  2. 我们一般写 P(X∈B) ,而不写 P(X−1(B))

示例 2.11 (示性函数,简单函数) 考虑集合 A∈U ,它的示性函数定义为

χA(ω):={1,ω∈A0,ω∉A,$$这是一个随机变量。更一般地,考虑$A1,…,Am∈U$,并有$Ω=⋃i=1mAi$,$ai∈R$,于是$$X=∑i=1maiχAi

是一个随机变量,我们称其为简单函数(simple function) 简单函数是可覆盖概率空间 Ω 的一族 U 中元素之示性函数的线性组合。

引理 2.12 (随机变量生成的 σ -代数) 设 X:Ω→Rn 是一个随机变量,则

U(X):={X−1(B):B∈B}

是一个 σ -代数,被称为随机变量 X 生成的 σ -代数。 显然, U(X) 要比原来的 U 小,而且它是使得 X 可测的最小的 U 的子 σ -代数。

证明. 不难发现,这个引理需要用到前面提到的集合运算能够穿透映射原像的一个结果。 首先,空集和全集 Ω 肯定是 U(X) 的集合。对于前者,考虑 X−1(∅)={ω∈Ω:f(ω)∈∅} ,因为 f(ω)∈∅ 永远不可能为真,因此只有 X−1(∅)=∅ 。另一方面,考虑 X−1(Rn) (由拓扑学知识,我们知道 Rn 是它自己的的开子集),我们得到 X−1(Rn)=Ω 。 然后我们证明第二条,也即对任意 B∈B ,都有 X−1(B)c∈U(X) 。事实上,我们来证明 X−1(B)c 事实上就是 X−1(Bc) :

X−1(B)c={ω∈Ω:f(ω)∈B}c={ω∈Ω:f(ω)∈Bc}=X−1(Bc)

用类似的方法,我们也可以证明该集族对可数并和可数交都封闭。于是 U(X) 是一个 σ -代数,且它不能再小了:从里面拿出一个元素都会使得 X 在拿掉元素后的集族下不可测。 Q.E.D.

注释 2.13 很重要的一点是,我们从概率论的角度可以说 “ U(X) 包含了 X 的相关信息”。假如另一个随机变量 Y 可以写成 Y=Φ(X) ,其中 Φ 是某个 “合理的” 函数,那 Y 也是 U(X) -可测的。另一方面,假如存在一个 U(X) -可测的随机变量 Y ,那么一定存在一个函数 Φ ,使得 Y=Φ(X) 。 事实上,这样的 Φ 称为 可测映射,这是了可测空间范畴的态射。

2.1.4 随机过程

本节中我们介绍取决于时间的随机变量。

定义 2.14 (随机过程,采样路径) 一个随机变量的集合 {X(t):t⩾0} 被称为一个随机过程。对每个 ω∈Ω ,映射 t↦X(t,ω) 称为一个采样路径。

术语约定 2.15 有的地方也使用 Xt 而不是 X(t) 指称一个关于变量 t 的随机过程