打开本页，如果不能显示公式，请刷新页面。
- 从 $$n$$ 个不同的元素中有放回地每次抽取一个，依次抽取 $$m$$ 个排成一列，可以得到 $$n^m$$ 个不同的排列。当随机抽取时，得到的不同排列是等可能的。
- 从 $$n$$ 个不同的元素中无放回第抽取 $$m$$ 个元素排成一列时，可以得到 $$A^m_n=\frac{n!}{(n-m)!}$$ 个不同的排列。当随机抽取和排列时，得到的不同排列是等可能的。
- 从 $$n$$ 个不同的元素中无放回第抽取 $$m$$ 个元素，不论次序地组成一组，可以得到 $$C_n^m=\frac{n!}{m!(n-m)!}$$ 个不同的组合。当随机抽取时，得到的不同组合是等可能的。
- 将 $$n$$ 个不同的元素分成有次序的 $$k$$ 组，不考虑每组中元素的次序，第 $$i(1\le{i}\le{k})$$ 组有 $$n_i$$ 个元素的不同结果数是 $$\frac{n!}{n_1!n_2!\cdots n_k!}$$ 。当随机分组时，得到的把不同结果是等可能的。
设 $$\mathcal{F}$$ 是 $$\sigma$$ 域，如果 $$P$$ 满足条件：
-
（a）非负性：对于任何事件 $$A\in\mathcal{F}$$ ，$$P(A)\ge0$$ ；
-
（b）完全性：$$P(\Omega)=1$$ ；
-
（c）可列可加性：对于 $$\mathcal{F}$$ 中互不相容的事件 $$A_1,A_2,\cdots$$ ，有：
$$P\left(\bigcup_{j=1}^{\infty}A_j\right)=\sum_{j=1}^{\infty}P(A_j)$$
则称 $$P$$ 是 $$\mathcal{F}$$ 上的概率，简称为概率，称 $$P(A)$$ 是 $$A$$ 发生的概率，称 $$(\Omega,\mathcal{F},P)$$ 是概率空间。
性质（1）：空集的概率是 0：$$P(\phi)=0$$
证明
由概率的可列可加性和 $$P(\Omega)=1$$ 可得
$$\begin{split}1&=P(\Omega+\phi+\phi+\cdots)=P(\Omega)+P(\phi)+P(\phi)+\cdots\&=1+P(\phi)+P(\phi)+\cdots\end{split}$$
所以， $$P(\phi)=0$$ 。
性质（2）：有限可加性：如果 $$A_1,A_2,\cdots,A_n$$ 互不相容，则 $$P\left(\bigcup_{j=1}^nA_j\right)=\sum_{j=1}^nP(A_j)$$
证明
因为 $$A_1,A_2,\cdots,A_n$$ 互不相容， 由概率的可列可加性得到：
$$\begin{split}&P(A_1+A_2+\cdots+A_n)\=&P(A_1+A_2+\cdots+A_n+\phi+\phi+\cdots)\=&P(A_1)+P(A_2)+\cdots+P(A_n)+P(\phi)+P(\phi)+\cdots\=&P(A_1)+P(A_2)+\cdots+P(A_n)\end{split}$$
性质（3）： $$P(\overline{A})=1-P(A)$$
证明
因为 $$1=P(\Omega)=P(A+\overline{A})=P(A)+P(\overline{A})$$
故得证。
**性质（4）**可减性：如果 $$A\supset B$$ ，则 $$P(A-B)=P(A)-P(B)$$
证明
由性质（2）和 $$A=B+(A-B)$$ 可得：
$$P(A)=P(B)+P(A-B)$$
移项后可证。
**性质（5）**单调性：如果 $$B\subset A$$ ，则 $$P(B)\le{P(A)}\le1$$
证明
由性质（4）可知 $$0\le P(A)-P(B)\le1$$ ，于是 $$P(B)\le{P(A)}\le1$$
**性质（6）**次可加性：对于事件 $$A_1,A_2,\cdots$$ ，有
$$P\left(\bigcup_{j=1}^nA_j\right)\le\sum_{j=1}^nP(A_j),\quad P\left(\bigcup_{j=1}^{\infty}A_j\right)=\sum_{j=1}^{\infty}P(A_j)$$
证明
取 $$A_0=\phi,B_j=A_j-\bigcup_{i=0}^{j-1}A_i$$ ，则 $$B_j$$ 互不相容，由 $$B_j\subset A_j$$ 得：
$$\bigcup_{j=1}^nB_j\subset\bigcup_{j=1}^nA_j$$
当 $$\bigcup_{j=1}^nA_j$$ 发生，有 $$A_0=\phi$$ 可知，一定有某个 $$A_j$$ 发生，但是 $$A_0,A_1,\cdots,A_{j-1}$$ 不发生，于是 $$B_j$$ 发生。于是得：
$$\bigcup_{j=1}^nA_j=\bigcup_{j=1}^nB_j$$ ，$$P(B_j)\le P(A_j)$$
由概率的有限可加性得：
$$P(\bigcup_{j=1}^nA_j)=P(\bigcup_{j=1}^nB_j)=\sum_{j=1}^nP(B_j)\le\sum_{j=1}^nP(A_j)$$
**加法公式 1：**对事件 $$A$$ 、$$B$$ 有：$$P(A\cup B)=P(A)+P(B)-P(AB)$$
证明
因为 $$A\cup B=A+\overline{A}B$$ 和 $$B=AB+\overline{A}B$$ ，所以：
$$\begin{split}P(A\cup B)&=P(A+\overline{A}B)\&=P(A)+P(\overline{A}B)\&=P(A)+\left[P(\overline{A}B)+P(AB)\right]-P(AB)\&=P(A)+P(B)-P(AB)\end{split}$$
**加法公式 2：**对事件 $$A_1,A_2,A_3$$ 有：
$$P(\bigcup_{j=1}^3A_j)=\sum_{j=1}^3P(A_j)-\sum_{1\le{i}\le{j}\le3}P(A_iA_j)+P(\bigcap_{j=1}^3A_j)$$
证明
由加法公式 1 可得：
$$\begin{split}P(A_1\cup A_2\cup A_3)&=P(A_1)+P(A_2\cup A_3)-P(A_1(A_2\cup A_3))\&=P(A_1)+P(A_2)+P(A_3)-P(A_2A_3)-P(A_1(A_2\cup A_3))\end{split}$$
因为 $$A_1(A_2\cup A_3)=(A_1A_2)\cup(A_1A_3)$$ ，所以
$$P(A_1(A_2\cup A_3))=P((A_1A_2)\cup(A_1A_3))=P(A_1A_2)+P(A_1A_3)-P(A_1A_2A_3)$$
代入前面的式子，则：
$$\begin{split}P(A_1\cup A_2\cup A_3)&=&&P(A_1)+P(A_2)+P(A_3)-P(A_2A_3)\&&&-\left[P(A_1A_2)+P(A_1A_3)-P(A_1A_2A_3)\right]\&=&&\sum_{j=1}^3P(A_j)-\sum_{1\le{i}\le{j}\le3}P(A_iA_j)+P(A_1A_2A_3)\end{split}$$
加法公式 3：（若尔当（Jordan）公式）对于事件 $$A_1,A_2,\cdots,A_n$$ ，有：
$$\begin{split}P(\bigcup_{j=1}^nA_j)=&\sum_{j=1}^nP(A_j)-\sum_{1\le{j_1}\le{j_2}\le n}P(A_{j_1}A_{j_2})+\cdots\&+(-1)^{k-1}\sum_{1\le{j_1}\lt{j_2}\lt\cdots\lt{j_k}\le{n}}P(A_{j_1}A_{j_2}\cdots A_{j_n})+\cdots\&+(-1)^{n-1}P(A_1A_2\cdots A_n)\end{split}$$
加法公式 3 是公式 1 和公式 2 的一般化。
**加法公式 4：**如果对 $$k\ge1$$ 和 $$1\le{j_1}\lt{j_2}\lt\cdots\lt{j_k}\le{n}$$ ，总有 $$P(A_{j_1}A_{j_2}\cdots A_{j_k})=P(A_1A_2\cdots A_k)$$ ，则对 $$p_k=C_n^kP(A_1A_2\cdots A_k)$$ 有：
$$P(\bigcup_{i=1}^nA_i)=\sum_{k=1}^n(-1)^{k-1}p_k$$
推导
在 $$1,2,\cdots,n$$ 中取出 $$k$$ 个数，有 $$C_n^k$$ 种取法，所以：
$$\sum_{1\le{j_1}\lt{j_2}\lt\cdots\lt{j_k}\le{n}}1=C_n^k$$
对 $$k\ge1$$ 和 $$1\le{j_1}\lt{j_2}\lt\cdots\lt{j_k}\le{n}$$ ，有 $$P(A_{j_1}A_{j_2}\cdots A_{j_k})=P(A_1A_2\cdots A_k)$$
则：
$$\begin{split}p_k &=\sum_{1\le{j_1}\lt{j_2}\lt\cdots\lt{j_k}\le{n}}P(A_{j_1}A_{j_2}\cdots A_{j_K})\&=C_n^kP(A_1A_2\cdots A_K) \end{split}$$
如果 $$P(AB)=P(A)P(B)$$ ，则称 $$A$$ 、$$B$$ 相互独立，简称独立（independent）。
推广：
-
称事件 $$A_1,A_2,\cdots,A_n$$ 相互独立，如果对任何 $$1\le{j_1}\lt{j_2}\lt\cdots\lt{j_k}\le{n}$$ 有：
$$P(A_{j_1}A_{j_2}\cdots A_{j_K})=P(A_{j_1})P(A_{j_2})\cdots P(A_{j_K})$$
-
称事件 $$A_1,A_2,\cdots,A_n$$ 相互独立，如果对任何 $$n\ge2$$ ，事件 $$A_1,A_2,\cdots,A_n$$ 相互独立，这是也称 $${A_n}$$ 是独立事件列。
定理 1： $$A$$ 、$$B$$ 独立当且仅当 $$\overline{A}$$ 、$$B$$ 独立
证明
当 $$A$$ 、$$B$$ 独立，由 $$\overline{A}B=B-AB$$ 得：
$$P(\overline{A}B)=P(B)-P(AB)=P(B)-P(A)P(B)=P(\overline{A})P(B)$$
即 $$\overline{A}$$ 、$$B$$ 独立。
如果 $$\overline{A}$$ 、$$B$$ 独立，则由上述可得 $$A = \Omega-\overline{A}$$ 、$$B$$ 独立。
如果 $$P(A)\gt0$$ ，则：
$$P(B|A)=\frac{P(AB)}{P(A)}$$
设 $$P(A)\gt0$$ ，$$P(A_1A_2\cdots A_{n-1})\gt0$$ ，则：
- $$P(AB)=P(A)P(B|A)$$
- $$P(A_1A_2\cdots A_n)=P(A_1)P(A_2|A_1)\cdots P(A_n|A_1A_2\cdots A_{n-1})$$
证明
（1）式可由条件概率公式得到。
（2）式右边每个因子使用条件概率公式得：
$$\begin{split}&P(A_1)P(A_2|A_1)\cdots P(A_n|A_1A_2\cdots A_{n-1})\=&\frac{P(A_1)}{1}\frac{P(A_1A_2)}{P(A_1)}\frac{P(A_1A_2A_3)}{P(A_1A_2)}\cdots\frac{P(A_1A_2\cdots A_{n-1}A_n)}{P(A_1A_2\cdots A_{n-1})}\=&P(A_1A_2\cdots A_{n-1}A_n)\end{split}$$
对于任何时间 $$A,B$$ ，由概率的甲方公式得到：
$$P(B)=P(AB+\overline{A}B)=P(AB)+P(\overline{A}B)$$
再用乘法公式，得到全概率公式：
$$P(B)=P(A)P(B|A)+P(\overline{A})P(B|\overline{A})$$
推广为一般形式：
如果事件 $$A_1,A_2,\cdots,A_n$$ 互不相容，$$B\subset\bigcup_{j=1}^nA_j$$ ，则：
$$P(B)=\sum_{j=1}^nP(A_j)P(B|A_j)$$
证明
因为 $$B=B\bigcup_{j=1}^nA_j=\bigcup_{j=1}^nBA_j$$ ，且 $$BA_1, BA_2,\cdots$$ 互不相容，所以：
$$\begin{split}P(B)&=P(\bigcup_{j=1}^nBA_j)\&=\sum_{j=1}^nP(BA_j)\&=\sum_{j=1}^nP(A_j)P(B|A_j)\end{split}$$
如果事件 $$A_1,A_2,\cdots,A_n$$ 互不相容，$$\bigcup_{j=1}^nA_j=\Omega$$ ，则称 $$A_1,A_2,\cdots,A_n$$ 是完备事件组，这是 $$B\subset\bigcup_{j=1}^nA_j$$ 自然成立。于是上述全概率公式的一般形式对任何事件 $$B$$ 成立。
**问题：**甲有本金 a 元，决心再赢 b 元停止赌博。设甲每局赢的概率是 $$p=1/2$$ ，每局输赢都是一元钱，甲输光后停止赌博，求甲输光的概率 $$q(a)$$ 。
解
用 $$A$$ 表示甲第一局赢，用 $$B_k$$ 表示甲有本金 $$k$$ 元时最后输光，则 $$q(k)=P(B_k)$$ 。
已知 $$A$$ 发生后，甲的本金增加医院，所以：
$$P(B_k|A)=P(B_{k+1})=q(k+1)$$
已知 $$\overline{A}$$ 放生后，甲的本金减少医院，所以：
$$P(B_k|\overline{A})=P(B_{k-1})=q(k-1)$$
由题意，$$q(0)=1,q(a+b)=0$$ ，并且：
$$\begin{split}q(k) &= P(B_k)\&=P(A_P(B_k|A)+P(\overline{A})P(B_k|\overline{A})\&=\frac{1}{2}q(k+1)+\frac{1}{2}q(k-1)\end{split}$$
于是有 $$2q(k)=q(k+1)+q(k-1)$$ ，从而得到：
$$q(k+1)-q(k)=q(k)-q(k-1)=\cdots=q(1)-q(0)=q(1)-1$$
上式两边对 $$k=n-1,n-2,\cdots,0$$ 求和后得到：
$$q(n)-1 = n(q(1)-1)$$
取 $$n=a+b$$ ，得到：
$$0-1=(a+b)(q(1)-1), q(1)-1=\frac{-1}{a+b}$$
则：
$$q(a)=1+a(q(1)-1)=1-\frac{a}{a+b}=\frac{b}{a+b}$$
当甲的本金 a 有限，贪心 b 越大，输光的概率越大，如果一直赌下去，$$b\to\infty$$ ，必定输光。
推广
对上述赌徒模型做进一步研究。假设有 $$n$$ 个赌徒加入公平赌博（这个假设很重要），第 $$i$$ 个赌徒的赌资为 $$a_i\gt0$$ ，则 $$s=\sum_{j=1}^na_j$$ 是所有赌徒的全部赌资，于是得到第 $$i$$ 个赌徒输光的概率是：
$$q(a_i)=\frac{s-a_i}{s}=1-\frac{a_i}{a_1+\cdots+a_n}$$
若 $$a_i$$ 是有限数，且赌徒充分多，则每个 $$q(a_i)$$ 都接近于 1 。于是，随着时间的推移，大多数赌徒陆续输光，赌资会向少数几个赌徒集中，这就是赌庄逐步形成的过程。如果没有新的赌徒加入，赌庄之间的陆续赌博将使得所有赌资最后集中在一个赌庄手中。
若有无穷多新的赌徒加入，则会有新的赌庄陆续形成。
但最终，逃脱不掉破产的命运。
在非公平赌博模型下，赌徒破产和赌庄聚集赌资都会加快，且赌庄会以一个正概率不破产。
在《机器学习数学基础》的第 5 章 5.5.2 节介绍全概率公式的内容时，有这样一个例题：
假设有两个口袋，第一个口袋里面有 $$3$$ 个黑球，第二个口袋里面有 $$2$$ 个黑球、$$1$$ 个白球。所有的球除了颜色差异之外，其他都一样。随机选一个口袋，并从中取出 $$2$$ 个球，问取出 $$2$$ 个黑球的概率是多少？
书中对这个例题，使用全概率公式进行了求解，过程如下：
这个试验的样本空间 $$\Omega = {b_1,b_2,b_3,b_4,b_5,w_1}$$ ，可以根据问题中的“两个口袋”将样本空间划分为 $$B_1 = {b_1,b_2,b_3}$$ 和 $$B_2 = {b_4,b_5,w_1}$$ 。“随机选一个口袋”就是从 $$B_1$$ 和 $$B_2$$ 两个划分（事件）中随机选一个，可得：
$$P(B_1)=P(B_2)=\frac{1}{2}$$
用 $$A$$ 表示“取出 $$2$$ 个黑球”事件，根据（5.2.5）式可得：
$$P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)=\frac{3}{3}\cdot \frac{1}{2}+\frac{1}{3}\cdot \frac{1}{2} = \frac{2}{3}$$
有读者认为上式中的 $$P(A|B_2)$$ 不应该是 $$\frac{1}{3}$$ ，应该是 $$\frac{2}{3}$$ 。对此，解答如下，请参考。
为了简化问题，把 $$B_2 = {b_4,b_5,w_1}$$ 单独拿出来，即转化为一个简单问题：有一个口袋里有三个球，其中两个黑色的，一个白色的，问从该口袋中取出两个黑色球的个概率是多少。
如果从操作的层面看，这个问题可以通过两个操作方式，都达到最终得到两个黑色球的结果：
- 方式 1：先取一个黑球，以不放回的方式抽取，再去第二个黑球，最终得到了两个黑球。
- 方式 2：同时从口袋中取出两个黑球。
下面根据上述两种方式，分别计算最终得到两个黑球的概率。
方式 1：一个一个地连续抽取
解法 1：
用 $$H_1$$ 表示“取出第 1 个黑球”事件，则：$$P(H_1)=\frac{2}{3}$$ 。
用 $$H_2$$ 表示“取出第 2 个黑球”事件，由于不放回抽取，$$H_2$$ 是在 $$H_1$$ 发生的条件下发生的，当 $$H_1$$ 发生后，口袋里面还有一个黑球和一个白球。所以：$$P(H_2|H_1)=\frac{1}{2}$$ 。
根据条件概率公式，连续取两个黑球的概率 $$P(H_1H_2)$$ 应为：
$$P(H_1H_2)=P(H_1)P(H_2|H_1)=\frac{2}{3}\cdot\frac{1}{2}=\frac{1}{3}$$
故，按照不放回抽样方式，连续从 $$B_2 = {b_4,b_5,w_1}$$ 中抽取到两个黑球的概率是 $$\frac{1}{3}$$
解法 2：
假设袋子中的球都有编号，如 $$B_2 = {b_4,b_5,w_1}$$ 中显示的那样，可以根据排列，计算出每两个球的排列可能，即样本空间的样本点数量，或基本事件总数：
$$|\Omega|=A_3^2=\frac{3!}{(3-2)!}=6$$
连续抽取两个黑球，可能是 $$b_4b_5$$ ，也可能是 $$b_5b_4$$ ，即事件“连续抽取两个黑球”的样本点数量为：$$A_2^2=2$$ 。
所以，连续抽取两个黑球的概率是：$$P=\frac{2}{6}=\frac{1}{3}$$
方式 2：从口袋中同时取出
不需要对口袋 $$B_2 = {b_4,b_5,w_1}$$ 中的球进行排列，只要组合即可。
样本空间的样本点数量为：$$\binom{3}{2}=\frac{3!}{2!(3-2)!}=3$$
一次性抽取两个黑球的事件数量，显然为 1 ，或者计算：$$\binom{2}{2}=1$$
所以，从口袋 $$B_2 = {b_4,b_5,w_1}$$ 中一次性抽取到两个黑球的概率为 $$\frac{1}{3}$$
[1]. 概率引论. 何书元. 北京：高等教育出版社. 2012.1，第1版