概率论的解释：《概率论沉思录》笔记

在概率论（和统计）中有频率学派（Frequentist）和贝叶斯学派（Bayesian）两大流派。后者引入了先验概率和后验概率的概念，在人工智能时代获得了更多的支持。《概率论沉思录》一书的作者采取了更广阔的视角，试图让我们以正确的方式建立直觉。

本文的先前版本还对认识论的疑问作了一些回答，大致的讨论见于第一节。这里先列举一些佯谬，体现正确建立直觉的必要性。

通过上述观察模拟（或计算），可以发现换门则胜利频率为 $\frac{2}{3}$，否则为 $\frac{1}{3}$.

但是，存在一些基于直觉的不同意见：

• 打开门什么都不会影响，因此不合理
• 主持人的行为是存在约束的（即必须打开无车门），这在初始选对、选错时概率不一样，因此结果是合理的
• 换和不换同样是在两个门中选择，因此不合理
• 可以理解为：把两个门合并成一个，因此结果是合理的

存在以下不同的答案：

1. 先固定一点，再取另一点，结果为 $\frac{1}{3}$
2. 先固定弦的斜率，考察弦中点的位置，结果为 $\frac{1}{2}$
3. 直接考察弦中点的位置，只能在一个小圆内，结果为 $\frac{1}{4}$

讨论的可能

这里的引用来自《概率论及其应用》的前几页。此书译自 William Feller 所作的经典 An Introduction to Probability Theory and Its Application.

必要的认可

第一个问题涉及了一个更基本的问题——认识论的问题。认识论不在本文讨论范围内。我们不希望陷入这样的问题：

• 使用的逻辑体系是否一定正确？
• 在推导过程中有多大的可能出错，而没有人发现？
• 我是真的理解了这些内容，还是我恰好产生了对它们的自信？

因此，希望读者认可：以某种方式，以概率论对现实的描述指导现实活动是可能的。为此，你或许可以采取以下选择：

• 盲信。时代、文化的变化已经塑造了（大部分时候）足以应对生活的直观认识。

  人类的集体直观能力也在进步着 … 同样，现在的学生不会体会到，当概率论还在萌芽的时候，它与某些思维方式、偏见及其他困难的斗争情形。

• 实用主义。概率论是一个（从经验上看/从权威上看/从自己对数学推导的认可上看）好用的模型。

  我们所关心的不是归纳推理的形态，而是一种可以叫作是物理概率或者统计概率的事物 … 我们所说的判断不是关于这些的判断，而是关于一个理想实验的可能结果 … 大家必须先承认一个特殊理想实验的想象模型。

• 其它可能的论证。如果你对形而上内容的了解可以支撑。

理想化

进行理想化是有必要的。

测定原子的寿命或人的寿命而没有误差是不可能的，但是为了理论上的目的，我们不妨设想寿命是实实在在的一个数，这样问题就产生了 …… 另一方面，现行的保险业务对于人的可能寿命却不加任何上限，按照寿险死亡率表所基于的公式算出来，千年不死的人在全人类中大约只占 $10^{10^{36}}$ 分之一 …… 使用这种小概率非但没有坏处，而且还可以简化公式，再说，如果我们真地把活一千年的可能性排除掉，我们势必承认一个最大年龄限 $x$ 的存在，说人能活 $x$ 年而不能活 $x$ 年零两秒，这种说法决不会比无限寿命的说法更能讲得通些。

我们将从有限的、理想化的模型开始，之后再考察无限的及不那么理想化的情形。

规则的构建

合情推理原则

假定需要开发一个推理机器人，对合情程度进行推理。我们希望满足如下条件：

1. 用实数表示合情程度：从直觉上说，我们需要全序和连续性
2. 定性地与常识相符，例如说我们希望可以构成（广义的）布尔代数
3. 推理是一致的，也就是：
   1. 不同的推理方式结果一致
   2. 会考虑的是所有有关的证据
   3. 在相同的情形下合情程度相同

定量规则

接下来推导出一些定量的规则：

1. 乘法规则

   我们希望决定 $A\wedge B$ 为真有两种途径：先决定其一，在接受它的条件下接受另一个。从合情推理原则 3.2 我们可以得出 $(C \Rightarrow A\wedge B) = F((C \Rightarrow B), (B\wedge C \Rightarrow A))$，同样地对 $(D \Rightarrow A\wedge B\wedge C)$ 使用合情推理原则 3.1 可推出 $F(F(x, y), z) = F(x, F(y, z))$；此外，$F$ 应当是连续且单调的。

   Aczél 在他的函数方程著作中用 11 页推导出了方程的一般解。如果我们进一步要求可微性，则证明可缩短。解被表示为 $F(x, y) = \omega^{-1}(\omega(x)\omega(y))$.

2. 值域

   由乘法规则得出，确定性由 $\omega(Q) = 1$ 表示，进一步约定 $0 \leq \omega(Q) \leq 1$.

3. 加法规则

   考虑那些非真即假的命题，$A\wedge \bar{A}$ 总是假的。通过分析得到存在 $m > 0$ 使得 $\omega^m(B \Rightarrow A) + \omega^m(B \Rightarrow \bar{A}) = 1$，使用 $p(x)$ 代替 $\omega^m(x)$ 是符合值域条件的，没有丧失一般性。

4. 广义加法规则

   由加法规则可进一步推导出： $$p(C \Rightarrow A \vee B) = p(C \Rightarrow A) + p(C \Rightarrow B) - p(C \Rightarrow A \wedge B)$$

填入数值

下面将使用更简单的符号，用 $P \mid Q$ 表示 $Q \Rightarrow P$，用 $P+Q$ 表示 $P\vee Q$，用 $PQ$ 表示 $P\wedge Q$.

实际上，我们的事实可以形如 $C\equiv (A \Rightarrow B)$，这同样可被恰当地赋值符合我们的体系。

我们假设 $B\equiv \left(p(A_iA_j | B) = p(A_i | B)\delta_{i, j}\right)$，其中 $\delta$ 是 Kronecker 符号。则有 $\sum_{i=1}^n p(A_i|B) = 1$，我们需要做的是将信息转换为 $p(A_i|B)$ 的值。

如果这些 $A_i$ 在交换后没有任何区别，为了满足合情推理原则 3.3，唯一的结果是 $p(A_i|B) = 1/n$，我们称为无差别原则。

需要注意这来自于合情推理原则。

从现在开始，我们称那些量 $p$ 为概率，在参数是命题时，使用大写字母 $P$.

考察这样一个问题：

这个问题联系了现实。我们需要对题目条件进行理想化。

硬币掉下时不一定是正面朝上或反面朝上，它可能是滚掉了，也可能是笔直地站着，但是我们只承认正面和反面是扔硬币以后仅有的可能结果，这样一来，理论要简洁得多了，同时也不影响其应用，这种类型的理想化是实践中标准的处理办法。

类似地，在此问题中，我们只考虑十种互斥的取出球的情况，并且出于无差别原则，它们分配的概率都是 $1/10$.

由此，取到黑球的概率是 $3/10$.

对于现实问题，例如“摸到黑球”，我们可以将其分解为“今天在下雨并且摸到了黑球”和“今天不在下雨并且摸到了黑球”，但是这就成为了“空洞的形式化练习”。我们应当把 $AB$ 视作两者都为真的陈述，$P(AB|C)$ 是一个基本量，不一定可解析为更基本的量（尽管可以用于计算）。

Kolmogorov 公理

Kolmogorov 提出了一种用集合论（和测度论）语言表达概率论的方法。回顾其公理化定义：

给定集合 $\Omega$，称 $\mathfrak{F}\subset 2^\Omega$ 为 $\Omega$ 上的 σ-代数，如果满足：

1. $\Omega \in \mathfrak{F}$
2. 取逆封闭：若 $A \in \mathfrak{F}$ 则 $\bar{A} \in \mathfrak{F}$
3. 可列并封闭：若 $\{A_n\}_{n\geq 1}\subset \mathfrak{F}$ 则其并 $\in \mathfrak{F}$

$\mathfrak{F}$ 上的概率测度 $P: \mathfrak{F}\to [0, 1]$ 满足：

1. 非负：$P(A)\geq 0$
2. 规范性：$P(\Omega) = 1$
3. 可列可加性：对 $\{A_n\}_{n\geq 1}$ 两两不交，有：

$$P\left(\bigcup\limits_{n=1}^{+\infty} A_n\right) = \sum_{n=1}^{+\infty} P(A_n)$$

我们在技术上支持此，但不局限于集合。

初等抽样论

无放回抽样

由于信息的不完全性，我们暂且不能假设分配的概率与实验事实间的关系。

在取出球后，推理机器的知识状态就会发生变化。

容易推得，共取出 $r\leq n$ 个红球的概率如下，称为超几何分布：

$$h(r) = \frac{\binom{M}{r}\binom{N-M}{n-r}}{\binom{N}{n}}$$

或许会有一些“反因果”的事情在其中发生。如果机器预先知道第二次抽取会取出红球，那么第一次抽取时的概率就会不同（如若 $M=1$ 则第一次不可能抽到红球）。我们不应该认为逻辑的蕴涵与物理的因果一定有关。

如果一个概率分布中，概率只取决于单次试验的结果的出现次数，则称它是可交换的。超几何分布是可交换的，这从物理因果角度无法解释。

而从逻辑推导可以算出 $P(R_k|R_jB) = \frac{M-1}{N-1}, P(R_k|W_jB) = \frac{M}{N-1}$，等同于“搁置”了一个红/白球到后面。

考察超几何分布的极限形式，即确定 $f = M / N$ 并让 $n\to \infty$ 的结果。将得到二项分布：

$$h(r) = \binom{n}{r} f^r(1-f)^{n-r}$$

广义超几何分布（有多种颜色的球）在极限情形下会变成多项分布。

相关性校正

在现实中摇动坛子的过程，我们称为“随机化”，目的是让信息更加复杂，并且因信息过于复杂而故意丢弃。

但随机化并不会让等式变得精确，可以直接应用于现实。我们将看到，小的误差会被积累。

例如说，我们假设抽取并放回一个红球会略微增加下一次抽到红球的概率，反之亦然，也就是：

$$ \begin{cases} P(R_k|R_{k-1}C) = \frac{M}{N} + \varepsilon \cr P(R_k|W_{k-1}C) = \frac{M}{N} - \delta \end{cases} $$

通过使用矩阵对角化，可以算得：

$$P(R_k|C) = \frac{(p - \delta) - (\varepsilon + \delta)^{k-1}(p\varepsilon - q\delta)}{1 - \varepsilon - \delta},\quad p = \frac{M}{N}, q = 1 - p$$

初等假设检验

定义

康德引入了先验一词来表示独立于经验而可以知道真假的命题。但先验概率一词在今天看来是不合适的。

如何将字面上的先验信息转换为数值先验是一个开放的问题，会在书的之后章节中讨论。

令 $X$ 为先验信息，$H$ 为待检验的假设，$D$ 为数据，有下式。，等式左侧为后验概率，最后一项为似然 $L(H)$.

$$P(H|DX) = P(H|X)\frac{P(D|HX)}{P(D|X)}$$

为了变得无量纲，定义几率是指：

$$O(H|DX) = \frac{P(H|DX)}{P(\bar{H}|DX)}$$

我们再定义单位为分贝 dB 的证据，这符合 Weber-Fechner 定律指出的感知的强度与物理强度的对数有关的现象：

$$e(H|DX) = 10\log_{10} O(H|DX)$$

如果 $P(D_2|D_1HX) = P(D_2|HX)$ 我们说 $D_1$ 与 $D_2$ 是独立的，独立并非是物理上的，而是逻辑上推理机器分配的概率。

我们来考虑这样一个例子：先验信息 $X$ 是有 11 台可以生产零件的机器，其中 10 台会生产 $1/6$ 的坏零件，另一台会生产 $1/3$ 的坏零件。一个机器生产的零件被放到同一个盒子中。现在我们的目标是选定一个盒子，判断它是不是那个不良机器生产的。

我们定义 $A\equiv$ 选择了不良机器，令 $B\equiv$ 没有选择不良机器，则初始时有：

$$e(A|X) = -10 \mathrm{dB}$$

如果从盒子中取出一个部件，它是坏的，则支持 $A$ 相对于 $B$ 的证据增量是下式，这在第一次时会使 $A$ 的证据增加约 3dB，以直接的方式体现了概率“朝某个方向驱动”。

$$10(\log_{10} P(\text{坏}|AX) - \log_{10} P(\text{坏}|\bar{A}X)) \mathrm{dB}$$

多重假设检验

仍然考虑生产零件的机器的例子。如果我们发现检查了 50 个零件发现全是坏零件，则 $e(A|E)$ 的结果大约是 140 分贝。但这是不符合我们的常识的。为此，需要额外引入第三个命题：$C\equiv$ 生产零件的机器出了问题，会产生 99% 的坏零件。

信念

信念强度

I. J. Good 说明了如何逆向使用概率论来测量我们的信念。

如果一个人总是能猜出你背着他写下的数，我们是否会因此考虑他可能有特异功能呢？

对于数字范围 1~10，也许在他猜对 10 个数后我们会考虑这种可能。那就是说，初始的信念程度大约为 -100 分贝。

不过，即使他连着猜对了 1000 个，我们也不一定会采取这个假设。因为几乎一定有其它假设的可能性更高，比如 -60 分贝。

拉普拉斯在《关于概率的哲学论文》中提到了这种现象，即：要人们承认自然法则失效，必须提供海量证据。

意见的趋同和分歧

假设有 $A$ 和 $B$ 两人对某个命题 $S$ 有不同的看法，我们期望的是给他们足够多的新信息 $D_1, D_2, \dots, D_n$，则随 $n$ 增大他们对 $S$ 的观点趋于一致。但是这其实并不总是成立。

假设一开始 $P(S|I_A) \cong 1$ 及 $P(S|I_B) \cong 0$. 接受到数据 $D$ 后，后验概率变为：

$$P(S|DI_A) = P(S|I_A) \frac{P(D|SI_A)}{P(D|I_A)}$$

$$P(S|DI_B) = P(S|I_B) \frac{P(D|SI_B)}{P(D|I_B)}$$

有：

$$\ln \left[\frac{P(S|DI_A)}{P(S|DI_B)}\right] = \ln \left[\frac{P(S|I_A)}{P(S|I_B)}\right] + \ln \left[\frac{P(D|SI_A)P(D|I_B)}{P(D|I_A)P(D|SI_B)}\right]$$

这可以用 $\ln (\text{后验}) = \ln (\text{先验}) + \ln (\text{似然})$ 来描述。

如果 $-\ln (\text{后验}) < \ln (\text{似然}) < 0$，就有两人的观点将趋同。

初等参数估计

离散参数

我们来考虑 Pólya 坛子问题的逆：在我们取 $n$ 个球中有 $r$ 个红球的条件下，估计 $N$ 与 $R$ 的值。

我们用 $I$ 表示先验信息，用 $D$ 表示数据 $(n, r)$，则有：

$$P(N|DI) = P(N|I) \frac{P(D|NI)}{P(D|I)}$$

直觉告诉我们（至少拉普拉斯是这么认为的）数据只会截断不可能值，而可能值的比例不变，即：

$$ P(N|DI) = \begin{cases} k \cdot P(N|I) & N \geq n \cr 0 & \text{otherwise} \end{cases} $$

如果有更多的信息，则我们可以知道更多的东西。

对 $R$ 来说，我们有：

$$P(R|DNI) = P(R|NI) \frac{P(D|NRI)}{P(D|NI)}$$

选择不同的先验概率 $P(R|NI)$ 会导致完全不同的结果。具体可参考原书。

连续分布

较为琐碎，请参考原书。

正态分布

推导过程

在概率论中似乎有一个普遍的分布，许多分布在各种操作下会趋近于：

$$\varphi(x) = \frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$$

我们称其为中心/高斯/正态分布。它的规范性（从 $-\infty$ 到 $+\infty$ 的积分结果为 $1$）可由下式说明：

$$ \left(\int e^{-\frac{t^2}{2}} \mathrm{d}t \right)^2 = \iint e^{-\frac{x^2+y^2}{2}} \mathrm{d}x\mathrm{d}y = \iint e^{-\frac{r^2}{2}} r\mathrm{d}r\mathrm{d}\theta = 2\pi $$

一般进行计算时是用累积高斯分布：

$$\Phi(x) = \int_{-\infty}^x \varphi(t) \mathrm{d}t = \frac 1 2 \left[1 + \mathrm{erf}\left(\frac x {\sqrt 2}\right)\right]$$

John Herschel 研究恒星位置出现误差的二维概率分布时导出了该分布，基于假设：

• 正交方向上的误差概率独立
• 概率与角度无关

这给出的唯一二维概率密度是圆对称高斯分布。10 年后麦克斯韦给出了同一论证的三维版本。

高斯推导的过程是这样的：我们从 $n+1$ 个观测值 $(x_0, \dots , x_n)$ 中使用最大似然法估计位置参数 $\theta$. 如果抽样分布因子 $p(x_0\cdots x_n|\theta) = f(x_0|\theta) \cdots f(x_n|\theta)$，似然方程为：

$$\sum_{i=0}^n \frac{\partial}{\partial \theta} \ln f(x_i|\theta) = 0$$

我们定义 $g(u) = \ln f(x|\theta)$，考虑情形：$x_0=(n+1)u$ 且 $x_1=x_2=\cdots=x_n=0$，直觉告诉我们估计值应该是算术平均值 $\hat{\theta} = u$. 现在有 $g'(nu) = ng'(u)$，从而有 $g(u)$ 形如 $\frac{1}{2}au^2+b$，有 $f(x|\theta)$ 具有正态分布的形式。

电气工程师兰登给出了这样的推导：假设噪声电压 $v$ 有概率分布 $p(v|\sigma)$，然后附加一个小量 $\varepsilon$，它具有独立的概率分布 $q(\varepsilon)\mathrm{d}\varepsilon$，则：

$$f(v') = \int p(v'-\varepsilon|\sigma)q(\varepsilon) \mathrm{d}\varepsilon$$

我们将得到的条件是扩散方程：

$$\frac{\partial p}{\partial \sigma^2} = \frac{1}{2} \frac{\partial^2 p}{\partial v^2}$$

解也是正态分布。这解释了正态分布为什么会在自然中频繁出现。

我们在书的之后部分研究最大熵时将发现，使用正态分布表示噪声实际上是在告诉机器人：我们唯一知道的是一阶矩和二阶矩，不要作出其它假设。

正态分布另外的优势将在中心极限定理中体现。