《概率论》期中复习笔记

26秋的概率论课程期中复习。教材的材料组织形式令人不悦，这里参考 Durrett, Probability Theory and Examples 作一些整理。

初等理论

称随机试验的每个结果为样本/样本点，样本构成的集合 $\Omega$ 称为样本空间，称其某些子集为事件。在古典概率模型中，$\Omega$ 是有限集，每个可能结果等可能出现。即：

$$P(A) \coloneqq \frac{|A|}{|\Omega|}$$

几何概率模型中，$\Omega$ 是某个 $d$ 维区域，

$$P(A) \coloneqq \frac{\mathrm{Vol}(A)}{\mathrm{Vol}(\Omega)}$$

考虑的建模是：针的中点与平行线距离 $r$，针与平行线所夹锐角 $\theta$，

$$ \Omega = \set{(r, \theta) | r \in [0, a/2], \theta \in [0, \pi/2]} \\ A = \set{(r, \theta) | r \leq (l \sin \theta) / 2} $$

算得 $P(A) = 2l / a\pi$；投针问题的变体可以类似地计算（如投正三角形可以考虑竖直方向上的投影）。

可以讨论此建模的合理性。但实际上几何概率模型可能产生不同的“随机”理解：

对于 $P(A) > 0$，我们定义在 $A$ 发生的条件下 $B$ 的条件概率是：

$$P(B|A) = P_A(B) \coloneqq \frac{P(AB)}{P(A)}$$

于是有全概率公式、Bayes 公式；可以定义事件的独立是 $P(AB) = P(A)P(B)$；定义重复独立试验。

记概率 $P(b, r)$ 关于两个参数对称，有：

$$P(b, r) = \sum_{j=1}^b P(b-j, r) \cdot \frac{A_b^j}{A_{b+r}^j} \cdot \frac{r}{b+r-j} + \sum_{j=1}^r P(b, r-j) \cdots$$

我们想要说明的是下式，因此可以简化只讨论是否 $j = b, j = r$，并归纳：

$$ P(b, r) = \begin{cases} 1 & r = 0 \\ 0 & b = 0 \\ \frac 1 2 & \text{otherwise} \end{cases} $$

概率空间

通过 Kolmogorov 公理，正式地定义概率空间是三元组 $(\Omega, \mathcal F, P)$，其中 $\mathcal F$ 是 $\sigma$-代数，$P: \mathcal F \to [0, 1]$ 是概率测度。

这里 $\sigma$-代数的要求是 $\Omega \in \mathcal F \subseteq \mathscr P(\Omega)$，且 $\mathcal F$ 对补、可列并封闭。在 $\R^d$ 上用 $\mathcal R^d$ 表示 Borel 集（包含所有开集的最小 $\sigma$-代数）。$(\Omega, \mathcal F)$ 上的测度是非负、可列可加的 $\mu: \mathcal F \to \R$，在 $\mu(\Omega) = 1$ 时称为概率测度。

我们用符号 $A_i \uparrow A$ 表示 $A_1 \sub A_2 \sub \dots$ 且 $\bigcup A_i = A$，符号 $\downarrow$ 反之。易见：

$$ A_i \uparrow A \implies P(A_i) \uparrow P(A) \\ A_i \downarrow A \implies P(A_i) \downarrow P(A) $$

证明略。在 $F(x) = x$ 时对应的就是 Lebesgue 测度。

如果不要求最后一个条件则存在反例。

随机变量

随机变量与分布

$X: \Omega \to \R$ 称为随机变量，如果对任意 $B \in \mathcal R$ 有 $X^{-1}(B) \in \mathcal F$. 对离散概率空间所有函数都是随机变量；另一个例子是取 $A \in \mathcal F$，示性函数 $1_A$ 是随机变量。实际上，在验证时只需要考虑所有的 $B = (-\infty, a]$，还可以只考虑其中 $a \in \mathbb Q$ 不过一般不会更容易。

随机变量会诱导一个随机测度 $\mu = P \circ X^{-1}$，称为分布。我们用 $P(X \in A)$ 指代 $P(\set{\omega | X(\omega) \in A})$，通常用（累积）分布函数 $F(x) = P(X \leq x)$ 刻画随机变量。相应地 $G(x) = P(X > x)$ 称为尾分布函数。

易知：随机变量的分布函数单调不降、右连续、两端分别趋向 $0, 1$；反之这样的函数也一定决定一个唯一的分布。

我们说 $X, Y$ 同分布 $X \stackrel d = Y$ 或 $X \sim Y$，如果它们诱导的分布函数相同。若 $P(\set{\omega | X(\omega) = Y(\omega)}) = 1$，则称它们几乎必然（almost surely）相等 $X = Y \text{ a.s.}$，这是概率论风格的“几乎处处（almost everywhere）”。其它的“依测度 $\mu$ 某某”亦类似此理解。

对概率分布 $Y$，称 $X$ 服从于分布 $Y$（$X \sim Y$），如果 $X$ 的分布等于 $Y$.

离散型与连续型

离散型随机变量要求 $X$ 只有可数的取值。分布的例子如下：

连续型随机变量要求分布函数有如下形式。此时称 $X$ 有密度函数 $f$：

$$F(x) = \int_{-\infty}^x f(t) \mathrm dt$$

$f$ 也常被更清晰地写成 $p_X(x)$. 例子如下：

当我们有 $X$ 的密度函数，对变换 $Y = f(X)$，如果 $f$ 分段严格单调且可微，则在 $Y$ 的取值范围内有密度函数：

$$p_Y(y) = \sum_{f(x_i) = y} \frac{p_X(x_i)}{|f'(x_i)|}$$

注意存在既不是离散型也不是连续型的随机变量。实际上可以非常奇怪：称一个分布函数奇异，如果对应的测度关于 Lebesgue 测度奇异（称两个测度奇异 $\mu \perp \lambda$，如果存在集合 $N$ 使得 $\lambda(N) = \mu(N^\complement) = 0$）。奇异分布的例子如：

可测映射

稍微扩展一下随机变量的定义，考虑一般的 $X: \Omega \to S$，称为可测映射。后者是 $(\R^d, \mathcal R^d)$ 时，称它是随机向量。后者是扩展实数系时，称为广义随机变量。

可测映射的复合是可测映射。

同理知 $\inf X_n, \sup X_n, \liminf X_n, \limsup X_n$ 也是随机变量。

我们称 $X_n$ 几乎必然收敛，如果：

$$P(\set{\omega | \exists \lim_{n \to \infty} X_n}) = 1$$

随机向量

基本定义

对离散型随机向量我们称“联合分布列”，记作：

$$p_{ij} = P(X = i, Y = j)$$

对连续性随机向量我们称“联合密度函数”，对可测区域有：

$$P((X, Y) \in D) = \iint p_{X, Y}(x, y) \mathrm d\mu$$

二维正态分布 $(X, Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$ 的联合密度函数：

$$\frac 1 {2\pi \sigma_1 \sigma_2 \sqrt{1 - \rho^2}} \exp \left[- \frac {(x - \mu_1)^2 - 2\rho(x - \mu_1)(y - \mu_2) + (y - \mu_2)^2} {2 (1 - \rho^2) \sigma_1^2 \sigma_2^2}\right]$$

对 $\vec X = (X_1, \dots, X_n)$，对 $m < n$ 称 $\vec Y = (X_{i_1}, \dots, X_{i_m})$ 是 $\vec X$ 的边缘。对应分布/密度称边缘（联合）分布/密度。对两个概率分布 $\mu_1, \mu_2$，若 $\mu$ 是联合分布，以 $\mu_1, \mu_2$ 为边缘分布，则称 $\mu$ 是 $\mu_1, \mu_2$ 的耦合。

使用随机变量可以更方便地表述：称 $X_1, \dots, X_n$ 相互独立，如果对任意 $x_1, \dots, x_n$，

$$P(X_1 \leq x_1, \dots, X_n \leq x_n) = P(X_1 \leq x_1) \cdots P(X_n \leq x_n)$$

相互独立可以推出两两独立。若对所有 $i$ 有 $X_i \stackrel d = X_1$，则称它们独立同分布，

$$X_i \stackrel {\text{iid}} \sim X_1$$

条件分布

对连续型随机向量，我们通过极限来给出定义：

$$F_{Y|X}(y|x) \coloneqq \lim_{\varepsilon \to 0^+} P(Y \leq y | x - \varepsilon < X \leq x + \varepsilon)$$

在涉及函数足够连续时，所谓条件密度函数是为：

$$p_{Y|X}(y|x) = \frac{p_{X, Y}(x, y)}{p_X(x)}$$

一般地定义在 $X = x$ 的条件下，$Y$ 关于 $X$ 的条件分布函数是 $F_{Y|X}(\cdot|x)$，其中在 $y$ 是间断点时用右连续补全：

$$F_{Y|X}(y|x) \coloneqq \lim_{z \to y^+} F_{Y|X}(z|x)$$

设 $\xi_i \stackrel {\text{iid}} \sim U(\mathbb S^2)$，用 $\Delta_{\alpha\beta\gamma}$ 表示三条大圆上的劣弧围成的三角形。令 $A = \set{\xi_4 \in \Delta_{-\xi_1, -\xi_2, -\xi_3}}$，所求即 $P(A)$.

取与 $\xi_1, \xi_2, \xi_3$ 相互独立的随机变量 $W_1, W_2, W_3$ 是 $P(W_i = 1) = P(W_i = -1) = 1/2$，令 $\eta_i = W_i\xi_i$，$B = \set{\xi_4 \in \Delta_{\eta_1, \eta_2, \eta_3}}$，由同分布 $P(A) = P(B)$.

对固定点 $\alpha_1, \alpha_2, \alpha_3$，有：

$$P(B|\xi_1 = \alpha_1, \xi_2 = \alpha_2, \xi_3 = \alpha_3) = 1/8$$

用全概率公式，就有 $P(B) = 1/8$，即为所求。

变换

定义分布函数 $F: \R \to [0, 1]$ 的广义反函数：

$$ \begin{aligned} F^{-1}: (0, 1) &\longrightarrow \R \cr u &\longmapsto \inf \set{x \in \R | F(x) \geq u} \end{aligned} $$

这可以带来一些证明上的便利。

回忆 $X + Y$ 是随机变量。对 $X, Y$ 独立的连续型随机变量，易见：

$$p_{X+Y}(z) = \int_{-\infty}^{+\infty} p_X(z-y) p_Y(y) \mathrm dy$$

对 $(\R, \mathcal R)$ 上两个分布 $\mu, \nu$，$X \sim \mu, Y \sim \nu$ 相互独立，则称 $X + Y$ 的分布为 $\mu$ 与 $\nu$ 的卷积 $\mu \ast \nu$.

若分布族 $\{\mu_\alpha\}$ 满足对 $\mu_\alpha, \mu_\beta$ 存在 $\mu_\alpha \ast \mu_\beta = \mu_\gamma$，则称该分布族有可加性/再生性。例如：

• 二项分布 $B(n, p) \ast B(m, p) = B(n + m, p)$
• Poisson 分布 $P(\lambda_1) \ast P(\lambda_2) = P(\lambda_1 + \lambda_2)$

Borel 函数是指 $\R^n \to \R^m$ 的可测映射。对于 $n$ 维随机向量 $\vec X \sim \vec Y$ 与 Borel 函数 $f$，有 $f(\vec X) \sim f(\vec Y)$.

一个常见的问题是对 $\vec Y = f(\vec X) \in \R^n$，用 $\vec X$ 的联合密度求 $Y$ 的联合密度。若某个邻域上 $f: D \to D'$ 一一且 Jacobi 行列式处处非零，则对 $y \in D'$，

$$p_{\vec Y}(y) = p_{\vec X}(f^{-1}(y)) \cdot |\det J(y)|$$

若 $f: D \to D'$ 是多对一的，则只需要把各个反函数对应的结果加起来。

对一般的 $\vec Y \in \R^m$，其中 $m < n$ 时，可以通过补全到 $n$ 维然后取边缘分布来计算。

随机变量序列

我们还可以考虑无穷维的随机向量。于是可以考虑一族随机变量 $\mathbf X = \set{X_\alpha | \alpha \in I}$，在 $I \subseteq \R$ 时称为随机过程。

设 $\xi_1, \dots$ 独立同分布，则称 $\set{S_n | n \geq 0}$ 为随机游走。

数学期望

对于 $X \geq 0$ 的随机变量，我们定义其期望是：

$$\mathbb EX = \int X \mathrm dP$$

对于一般的情形，我们让 $x^+ = \max\set{x, 0}$ 正部，$x^- = \max\set{-x, 0}$ 负部，当 $\mathbb EX^+$ 与 $\mathbb EX^-$ 之一有限时，可以让：

$$\mathbb EX = \mathbb EX^+ - \mathbb EX^-$$

称 $\mathbb EX^k$ 为 $X$ 的 $k$ 阶矩，$\mathbb E(X - \mathbb EX)^k$ 为 $X$ 的 $k$ 阶中心矩。