多维随机变量及之后内容、概念理解和误区澄清性质笔记可参考本专栏其他博客。

1002更新至2.4连续型随机变量

“概率的概率”

0930更新

几何分布无记忆性证明泊松分布直观理解

0925更新

习题1.41.41.4第888题（Bayes\rm BayesBayes公式的应用）习题1.51.51.5第222题

0920更新

Bayes\rm BayesBayes公式的几何理解

0913更新

Poincareˊ\rm Poincar\acute ePoincareˊ公式证明例1.3.51.3.51.3.5思考题

文章目录

事件与概率随机事件==常用证明技巧==样本空间随机现象随机试验（EEE）​特征样本点（ω\omegaω）​样本空间（Ω\OmegaΩ）分类随机事件定义特殊事件关系对偶公式事件域（F\mathcal{F}F）概率定义性质计算==常用计算技巧==确定概率的方法古典方法适用条件例题频率方法几何方法适用条件例题常见概率模型不返回抽样（超几何模型）返回抽样盒子模型配对模型条件概率定义注意定理条件概率是概率。乘法公式**全概率公式**贝叶斯(Bayes\rm BayesBayes)公式内容几何理解例题（1.31.31.3习题888）独立性两个事件的独立定义注记定理多个事件的独立定义多个事件间的相互独立mmmmmm独立(2≤m≤n)(2\leq m\leq n)(2≤m≤n)注记定理试验的独立定义独立试验贝努里(Bernoulli\rm BernoulliBernoulli)试验一维随机变量分布函数性质定理离散型随机变量定义分布函数性质二项分布泊松分布泊松定理超几何分布几何分布无记忆性负二项分布/Pascal\rm PascalPascal分布例题（Banach\rm BanachBanach火柴问题）连续型随机变量定义注记性质定理

事件与概率

随机事件

样本空间：随机试验的所有可能结果

随机事件：某些可能结果组成的集合

常用证明技巧

A⊂B,B⊂A⇒A=BA\subset B, B\subset A \Rightarrow A=B \\ A⊂B,B⊂A⇒A=B

A‾‾=A\overline{\overline{A}}=A A=A

样本空间

随机现象

在一定条件下并不总出现相同的结果

随机试验（EEE）​

对随机现象进行的实验和观察

特征

结果具有随机性可以重复进行

样本点（ω\omegaω）​

随机试验的每一个可能结果

样本空间（Ω\OmegaΩ）

随机试验的所有样本点组成的集合

分类

根据样本空间所含样本点的个数，分为两类

离散样本空间：有限个或可列个样本点连续样本空间：无穷不可列个样本点

随机事件

定义

随机试验的某些可能的结果组成的集合，即样本空间Ω\OmegaΩ​的一个子集

简称为事件，通常用大写字母表示

事件发生：某次随机试验出现的结果包含在随机事件中，即ω∈A\omega \in Aω∈A​

A⊂BA\subset BA⊂B： AAA发生必然导致BBB发生

特殊事件

基本事件：只包含一个样本点必然事件（Ω\OmegaΩ）：包含全部样本点，即样本空间不可能事件（∅\emptyset∅​）：不含有任何样本点的事件

关系

A∖B=A∩B‾A\setminus B = A\cap \overline{B} A∖B=A∩B

A△B=A∖B+B∖AA\triangle B = A\setminus B + B\setminus A A△B=A∖B+B∖A

对偶公式

A∪B‾=A‾∩B‾A∩B‾=A‾∪B‾\begin{aligned} \overline{A\cup B} &= \overline{A}\cap \overline{B} \\ \overline{A\cap B} &= \overline{A}\cup \overline{B} \end{aligned} A∪BA∩B​=A∩B=A∪B​

事件域（F\mathcal{F}F）

F\mathcal{F}F是由Ω\OmegaΩ的部分子集组成的集合类，若F\mathcal{F}F满足：

Ω∈F\Omega\in \mathcal{F}Ω∈F;A∈FA\in \mathcal{F}A∈F 蕴含 A‾∈F\overline{A}\in \mathcal{F}A∈F;对任意的n≥1n\geq 1n≥1，An∈FA_n\in \mathcal{F}An​∈F 蕴含 ⋃i=1n∈F\bigcup_{i=1}^n\in \mathcal{F}⋃i=1n​∈F，

则称F\mathcal{F}F为样本空间Ω\OmegaΩ上的事件域，简称为事件域。

概率

定义

设P(⋅)P(\cdot)P(⋅)​是定义在F\mathcal{F}F上的实值函数，如果其满足下面三条公理：

非负性：P(A)≥0P(A)\ge 0P(A)≥0

正则性：P(Ω)=1P(\Omega) = 1P(Ω)=1

可列可加性：若A1,A2,⋯,AnA_1,A_2,\cdots, A_nA1​,A2​,⋯,An​互不相容，则

P(∑n=1∞An)=∑n=1∞P(An)P(\sum_{n=1}^\infin A_n) = \sum_{n=1}^\infin P(A_n) P(n=1∑∞​An​)=n=1∑∞​P(An​)

则称P(⋅)P(\cdot)P(⋅)​为概率测度或概率。

称三元总体(Ω,F,P)(\Omega,\mathcal{F},P)(Ω,F,P)​为概率空间。

性质

可减性：

P(A∖B)=P(A)−P(B)P(A\setminus B) = P(A)-P(B) P(A∖B)=P(A)−P(B)

加法公式：

P(A∪B)=P(A)+P(B)−P(A∩B)P(A\cup B) = P(A)+P(B)-P(A\cap B) P(A∪B)=P(A)+P(B)−P(A∩B)

P(A∪B∪C)=P(A)+P(B)+P(C)−P(A∩B)−P(A∩C)−P(B∩C)+P(A∩B∩C)P(A\cup B\cup C) = P(A)+P(B)+P(C)-P(A\cap B)-P(A\cap C)-P(B\cap C)+P(A\cap B \cap C) P(A∪B∪C)=P(A)+P(B)+P(C)−P(A∩B)−P(A∩C)−P(B∩C)+P(A∩B∩C)

可推广得到

P(⋃k=1nAk)=∑k=1nP(Ak)−∑i<jP(AiAj)+∑i<j<kP(AiAjAk)+⋯+(−1)n−1P(A1A2⋯An)\begin{aligned} P(\bigcup_{k=1}^n A_k) =& \sum_{k=1}^n P(A_k)-\sum_{i<j}P(A_iA_j) + \sum_{i<j<k}P(A_i A_j A_k) \\ &+\cdots + (-1)^{n-1}P(A_1 A_2\cdots A_n) \end{aligned} P(k=1⋃n​Ak​)=​k=1∑n​P(Ak​)−i<j∑​P(Ai​Aj​)+i<j<k∑​P(Ai​Aj​Ak​)+⋯+(−1)n−1P(A1​A2​⋯An​)​

即庞加莱（Poincareˊ\rm Poincar\acute{e}Poincareˊ​​​）公式，可由数学归纳法证明。

准备如下：

A∪B∪C=(A∪B)∪C(A∪B)C=(AC)∪(BC)(AC)∩(BC)=ABC\begin{aligned} A\cup B\cup C&=(A\cup B)\cup C \\ (A\cup B) C&=(AC)\cup(BC) \\ (AC)\cap (BC) &= ABC \end{aligned} A∪B∪C(A∪B)C(AC)∩(BC)​=(A∪B)∪C=(AC)∪(BC)=ABC​

下面用数学归纳法证明：

当n=1n=1n=1时，P(A1)=P(A1)P(A_1)=P(A_1)P(A1​)=P(A1​)成立；

假设n=k0n=k_0n=k0​时，

P(⋃k=1k0Ak)=∑k=1k0P(Ak)−∑i<jP(AiAj)+∑i<j<kP(AiAjAk)+⋯+(−1)k0−1P(A1A2⋯Ak0)\begin{aligned} P(\bigcup_{k=1}^{k_0} A_k) =& \sum_{k=1}^{k_0} P(A_k)-\sum_{i<j}P(A_iA_j) + \sum_{i<j<k}P(A_i A_j A_k) \\ &+\cdots + (-1)^{k_0-1}P(A_1 A_2\cdots A_{k_0}) \end{aligned} P(k=1⋃k0​​Ak​)=​k=1∑k0​​P(Ak​)−i<j∑​P(Ai​Aj​)+i<j<k∑​P(Ai​Aj​Ak​)+⋯+(−1)k0​−1P(A1​A2​⋯Ak0​​)​

则当n=k0+1n=k_0+1n=k0​+1时，

P(⋃k=1k0+1Ak)=P((⋃k=1k0Ak)⋃Ak0+1)=P(⋃k=1k0Ak)+P(Ak0+1)−P((⋃k=1k0Ak)Ak0+1)=∑k=1k0P(Ak)−∑i<jP(AiAj)+⋯+(−1)k0−1P(A1A2⋯Ak0)+P(Ak0+1)−P(⋃k=1k0(AkAk0+1))\begin{aligned} P(\bigcup_{k=1}^{k_0+1} A_k) =& P((\bigcup_{k=1}^{k_0} A_k)\bigcup A_{k_0+1})\\ =& P(\bigcup_{k=1}^{k_0} A_k)+P(A_{k_0+1})-P((\bigcup_{k=1}^{k_0} A_k)A_{k_0+1}) \\ =& \sum_{k=1}^{k_0} P(A_k)-\sum_{i<j}P(A_iA_j)+\cdots + (-1)^{k_0-1}P(A_1 A_2\cdots A_{k_0}) \\ &+P(A_{k_0+1})-P(\bigcup_{k=1}^{k_0} (A_kA_{k_0+1})) \\ \end{aligned} P(k=1⋃k0​+1​Ak​)===​P((k=1⋃k0​​Ak​)⋃Ak0​+1​)P(k=1⋃k0​​Ak​)+P(Ak0​+1​)−P((k=1⋃k0​​Ak​)Ak0​+1​)k=1∑k0​​P(Ak​)−i<j∑​P(Ai​Aj​)+⋯+(−1)k0​−1P(A1​A2​⋯Ak0​​)+P(Ak0​+1​)−P(k=1⋃k0​​(Ak​Ak0​+1​))​

至此完成了一次项的求解。

记P(⋃k=1k0(AkAk0+1))=PP(\bigcup_{k=1}^{k_0} (A_kA_{k_0+1}))=PP(⋃k=1k0​​(Ak​Ak0​+1​))=P，则

P=∑k=1k0P(AkAk0+1)−∑i<jP(AiAk0+1AjAk0+1)+⋯+(−1)k0−1(A1Ak0+1⋯Ak0Ak0+1)=∑k=1k0P(AkAk0+1)−∑i<jP(AiAjAk0+1)+⋯+(−1)k0−1(A1⋯Ak0Ak0+1)\begin{aligned} P =& \sum_{k=1}^{k_0}P(A_kA_{k_0+1})-\sum_{i<j}P(A_iA_{k_0+1}A_jA_{k_0+1})\\ &+\cdots+ (-1)^{k_0-1}(A_1 A_{k_0+1}\cdots A_{k_0}A_{k_0+1}) \\ =& \sum_{k=1}^{k_0}P(A_kA_{k_0+1})-\sum_{i<j}P(A_iA_jA_{k_0+1})\\ &+\cdots+ (-1)^{k_0-1}(A_1\cdots A_{k_0}A_{k_0+1}) \\ \end{aligned} P==​k=1∑k0​​P(Ak​Ak0​+1​)−i<j∑​P(Ai​Ak0​+1​Aj​Ak0​+1​)+⋯+(−1)k0​−1(A1​Ak0​+1​⋯Ak0​​Ak0​+1​)k=1∑k0​​P(Ak​Ak0​+1​)−i<j∑​P(Ai​Aj​Ak0​+1​)+⋯+(−1)k0​−1(A1​⋯Ak0​​Ak0​+1​)​

将PPP代回原式，

P(⋃k=1k0+1Ak)=∑k=1k0+1P(Ak)−∑i<jP(AiAj)+(−1)k0−1P(A1A2⋯Ak0)−(∑i<jP(AiAjAk0+1)+⋯+(−1)k0−1(A1⋯Ak0Ak0+1))=∑k=1k0+1P(Ak)−∑i<jP(AiAj)+∑i<j<kP(AiAjAk)+⋯+(−1)k0P(A1A2⋯Ak0+1)\begin{aligned} P(\bigcup_{k=1}^{k_0+1} A_k) =& \sum_{k=1}^{k_0+1} P(A_k) - \sum_{i<j}P(A_iA_j)+(-1)^{k_0-1}P(A_1 A_2\cdots A_{k_0}) \\ &-(\sum_{i<j}P(A_iA_jA_{k_0+1}) +\cdots+ (-1)^{k_0-1}(A_1\cdots A_{k_0}A_{k_0+1})) \\ =&\sum_{k=1}^{k_0+1} P(A_k)-\sum_{i<j}P(A_iA_j) + \sum_{i<j<k}P(A_i A_j A_k) \\ &+\cdots + (-1)^{k_0}P(A_1 A_2\cdots A_{k_0+1}) \end{aligned} P(k=1⋃k0​+1​Ak​)==​k=1∑k0​+1​P(Ak​)−i<j∑​P(Ai​Aj​)+(−1)k0​−1P(A1​A2​⋯Ak0​​)−(i<j∑​P(Ai​Aj​Ak0​+1​)+⋯+(−1)k0​−1(A1​⋯Ak0​​Ak0​+1​))k=1∑k0​+1​P(Ak​)−i<j∑​P(Ai​Aj​)+i<j<k∑​P(Ai​Aj​Ak​)+⋯+(−1)k0​P(A1​A2​⋯Ak0​+1​)​

得证。

若记

Sm=∑1≤i1<⋯<im≤nP(Ai1⋯Aim)S_m = \sum_{1\leq i_1<\cdots<i_m\leq n}P(A_{i_1}\cdots A_{i_m}) Sm​=1≤i1​<⋯<im​≤n∑​P(Ai1​​⋯Aim​​)

则Poincareˊ\rm Poincar\acute{e}Poincareˊ公式可改写为

P(⋃k=1nAk)=∑m=1n(−1)m−1SmP(\bigcup_{k=1}^n A_k) = \sum_{m=1}^n (-1)^{m-1} S_m P(k=1⋃n​Ak​)=m=1∑n​(−1)m−1Sm​

计算

常用计算技巧

P(A)=1−P(A‾)P(A) = 1-P(\overline A) P(A)=1−P(A)

确定概率的方法

古典方法

P(A)=∣A∣∣Ω∣P(A) = \frac{|A|}{|\Omega|} P(A)=∣Ω∣∣A∣​

适用条件

Ω\OmegaΩ为有限集每个基本事件的发生是等可能的

由上述条件易得，在抛硬币、摸球等模型中常用古典方法确定概率。

例题

（例1.3.51.3.51.3.5）口袋中有n−1n-1n−1个黑球、111个白球，每次从口袋中随机地摸出一球，并换入一只黑球。求取第kkk​​次时取到的球是黑球的概率。

解 设AkA_kAk​​表示事件“取第kkk​次时取到的球是黑球”，k=1,2,⋯k=1,2,\cdotsk=1,2,⋯. ​则Ak‾\overline {A_{k}}Ak​​​表示事件“取第kkk​​次时取到的球是白球”。易得P(A1)=n−1nP(A_1) = \frac{n-1}{n}P(A1​)=nn−1​​. 由于一旦取到白球，口袋中所有的球都会变为黑色，所以取到白球的条件是之前每次都摸到黑球，即

Ak‾=A1A2⋯Ak−1Ak‾,k=1,2,⋯\overline{A_k}=A_1 A_2\cdots A_{k-1}\overline{A_k}, k = 1,2,\cdots Ak​​=A1​A2​⋯Ak−1​Ak​​,k=1,2,⋯

于是

P(Ak)=1−P(Ak‾)=1−P(A1A2⋯Ak−1Ak‾)=1−(n−1n)k−1⋅1n,k=2,3,⋯\begin{aligned} P(A_{k}) &= 1-P(\overline{A_{k}}) \\ &= 1-P(A_1 A_2\cdots A_{k-1}\overline{A_k}) \\ &= 1-(\frac{n-1}{n})^{k-1}\cdot \frac{1}{n}, \quad k=2,3,\cdots \end{aligned} P(Ak​)​=1−P(Ak​​)=1−P(A1​A2​⋯Ak−1​Ak​​)=1−(nn−1​)k−1⋅n1​,k=2,3,⋯​

口袋中有两个白球，每次从口袋中随机地摸出一球，并换入一只黑球。求取第kkk次时取到的球是黑球的概率。

解 仿照例题做法，设AkA_kAk​表示事件“取第kkk次时取到的球是黑球”，k=1,2,⋯k=1,2,\cdotsk=1,2,⋯，则Ak‾\overline {A_{k}}Ak​​表示事件“取第kkk次时取到的球是白球”。

易得P(A1‾)=1，P(A2‾)=12P(\overline{A_1}) = 1，P(\overline{A_2}) = \frac{1}{2}P(A1​​)=1，P(A2​​)=21​，自此起回归到n=2n=2n=2的例题模型，解得

P(Ak)={1,k=11−12k−1,k=2,3,⋯P(A_k)= \begin{cases} 1, & k=1 \\ 1-\frac{1}{2^{k-1}}, & k=2,3,\cdots \end{cases} P(Ak​)={1,1−2k−11​,​k=1k=2,3,⋯​

一枚均匀的硬币，甲掷n+1n+1n+1次，乙掷nnn​​次。求甲掷出的正面数比乙掷出的正面数多的概率。

解

P(A>B)=P(n+1−C>n−D)=P(C−1<D)=P(C≤D)=1−P(C>D)=1−P(A>B)\begin{aligned} P(A>B) &= P(n+1-C>n-D) \\ &= P(C-1<D) \\ &= P(C\leq D) \\ &= 1-P(C>D) \\ &=1-P(A> B) \end{aligned} P(A>B)​=P(n+1−C>n−D)=P(C−1<D)=P(C≤D)=1−P(C>D)=1−P(A>B)​

故P(A>B)=0.5P(A>B)=0.5P(A>B)=0.5.

频率方法

f(A)=n(A)nf(A) = \frac{n(A)}{n} f(A)=nn(A)​

几何方法

P(A)=L(A)L(Ω)P(A) = \frac{L(A)}{L(\Omega)} P(A)=L(Ω)L(A)​

其中，L(A)L(A)L(A)表示AAA的度量（距离函数）。

适用条件

Ω\OmegaΩ是nnn维空间中的有界区域，L(Ω)>0L(\Omega)>0L(Ω)>0.每个样本点落在某个子区域的概率与该区域的度量大小成正比，与区域的形状和位置无关。

例题

（例1.3.131.3.131.3.13）

其中，

Ω={(x,y):0≤x≤60,0≤y≤60}\Omega = \{(x,y):0\leq x\leq 60,0\leq y\leq 60\} Ω={(x,y):0≤x≤60,0≤y≤60}

A={(x,y)∈Ω:∣x−y∣≤20}A = \{(x,y)\in \Omega:|x-y|\leq 20\} A={(x,y)∈Ω:∣x−y∣≤20}

通过本题我们发现，零概率事件未必是不可能事件，例如记B={(x,y)∈Ω:x−y=20}B = \{(x,y)\in \Omega:x-y=20\}B={(x,y)∈Ω:x−y=20}，由于L(B)=0L(B)=0L(B)=0，所以P(B)=0P(B)=0P(B)=0，但显然KaTeX parse error: Undefined control sequence: \O at position 6: B\neq\̲O̲，具体原理将在后续讨论。

（例1.3.151.3.151.3.15）Buffon\rm BuffonBuffon投针问题

向画有距离维ddd的一组平行线的平面任意投一长为l(l<d)l(l<d)l(l<d)的针，求针与任一平行线相交的概率。

记xxx表示针的中点到最近的平行线的距离，θ\thetaθ表示针与此平行线的夹角。

于是，针的位置可以表示为

Ω={(x,θ):0≤x≤d2,0≤θ<π}.\Omega = \{(x,\theta):0\leq x\leq \frac{d}{2},0\leq \theta< \pi\}. Ω={(x,θ):0≤x≤2d​,0≤θ<π}.

令AAA表示事件“针与任一平行线相交”，则

A={(x,θ):0≤x≤l2sinθ,0≤θ<π}.A=\{(x,\theta):0\leq x\leq \frac{l}{2}\rm sin\theta, 0\leq \theta< \pi\}. A={(x,θ):0≤x≤2l​sinθ,0≤θ<π}.

可得

P(A)=L(A)L(Ω)=∫0πl2sinθdθd2π=2lπd.P(A) = \frac{L(A)}{L(\Omega)}=\frac{\int_0^{\pi}\frac{l}2 \rm sin\theta\rm d\theta}{\frac{d}2 \pi} = \frac{2l}{\pi d}. P(A)=L(Ω)L(A)​=2d​π∫0π​2l​sinθdθ​=πd2l​.

常见概率模型

不返回抽样（超几何模型）

设有NNN个产品，其中MMM个不合格。从中不返回任取nnn个，则此nnn个中有mmm个不合格的概率为

CMm⋅CN−Mn−mCNn\frac{C_M^m\cdot C_{N-M}^{n-m}}{C_N^n} CNn​CMm​⋅CN−Mn−m​​

返回抽样

设有NNN个产品，其中MMM个不合格。从中有返回任取nnn个，则此nnn个中有mmm​个不合格的概率为

CnmMm(N−M)n−mNnC_n^m \frac{M^m(N-M)^{n-m}}{N^n} Cnm​NnMm(N−M)n−m​

盒子模型

nnn个不同的球放进NNN个不同的盒子里，每个盒子放球数不限，则恰有nnn个盒子各有一球的概率为

ANnNn=N!Nn(N−n)!\frac{A_N^n}{N^n} = \frac{N!}{N^n(N-n)!} NnANn​​=Nn(N−n)!N!​

配对模型

nnn个人、nnn顶帽子，每人任取111顶，至少一个人拿对自己帽子的概率

记Ak=A_k=Ak​=“第kkk个人拿对自己帽子”，应用加法公式，

P(⋃k=1nAk)=∑k=1n(−1)k−11k!P(\bigcup_{k=1}^n A_k) = \sum_{k=1}^n (-1)^{k-1}\frac{1}{k!} P(k=1⋃n​Ak​)=k=1∑n​(−1)k−1k!1​

条件概率

定义

设(Ω,F,P)(\Omega, \mathcal{F}, P)(Ω,F,P)是给定的概率空间，B∈FB\in \mathcal{F}B∈F且满足P(B)>0P(B)>0P(B)>0，对任意的事件A∈FA\in \mathcal{F}A∈F，令

P(A∣B)≜P(AB)P(B).P(A|B) \triangleq \frac{P(AB)}{P(B)}. P(A∣B)≜P(B)P(AB)​.

称P(A∣B)P(A|B)P(A∣B)为在事件BBB发生的条件下，事件AAA发生的条件概率。

注意

P(A)P(A)P(A)为事件AAA的无条件概率，也可视为条件概率P(A∣Ω)P(A|\Omega)P(A∣Ω)。

定理

条件概率是概率。

在概率空间(Ω,F,P)(\Omega, \mathcal{F}, P)(Ω,F,P)中，B∈FB\in \mathcal{F}B∈F且P(B)>0P(B)>0P(B)>0.定义集函数

PB(A)=P(A∣B)P_B(A)=P(A|B) PB​(A)=P(A∣B)

则PBP_BPB​也是定义在F\mathcal{F}F上的概率。于是，

P(A‾∣B)=1−P(A∣B)P(\overline{A}|B) = 1-P(A|B)P(A∣B)=1−P(A∣B)P(A∪C∣B)=P(A∣B)+P(C∣B)−P(AC∣B)P(A\cup C|B) = P(A|B)+P(C|B)-P(AC|B)P(A∪C∣B)=P(A∣B)+P(C∣B)−P(AC∣B)P(A∖C∣B)=P(A∣B)−P(AC∣B)P(A\setminus C|B) = P(A|B)-P(AC|B)P(A∖C∣B)=P(A∣B)−P(AC∣B)

乘法公式

若A,B∈FA,B\in \mathcal{F}A,B∈F，且P(A)>0,P(B)>0P(A)>0,P(B)>0P(A)>0,P(B)>0，则

P(AB)=P(A)P(B∣A)=P(B)P(A∣B)P(AB) = P(A)P(B|A)=P(B)P(A|B) P(AB)=P(A)P(B∣A)=P(B)P(A∣B)

若n>1n>1n>1，A1,A2,⋯,An∈FA_1,A_2,\cdots,A_n\in \mathcal{F}A1​,A2​,⋯,An​∈F，且P(A1A2⋯An−1)>0P(A_1 A_2\cdots A_{n-1})>0P(A1​A2​⋯An−1​)>0，则

P(A1A2⋯An)=P(A1)P(A2∣A1)⋯P(An∣A1⋯An−1)P(A_1 A_2\cdots A_n) = P(A_1)P(A_2|A_1)\cdots P(A_n|A_1\cdots A_{n-1}) P(A1​A2​⋯An​)=P(A1​)P(A2​∣A1​)⋯P(An​∣A1​⋯An−1​)

条件概率版本

若B,A1,A2,⋯,An∈FB,A_1,A_2,\cdots,A_n\in \mathcal{F}B,A1​,A2​,⋯,An​∈F，且P(A1A2⋯An−1)>0P(A_1 A_2\cdots A_{n-1})>0P(A1​A2​⋯An−1​)>0​，则

P(A1A2⋯An∣B)=P(A1∣B)P(A2∣A1B)⋯P(An∣A1⋯An−1B)P(A_1 A_2\cdots A_n|B) = P(A_1|B)P(A_2|A_1B)\cdots P(A_n|A_1\cdots A_{n-1}B) P(A1​A2​⋯An​∣B)=P(A1​∣B)P(A2​∣A1​B)⋯P(An​∣A1​⋯An−1​B)

全概率公式

对于任意事件AAA和BBB，若0<P(B)<10<P(B)<10<P(B)<1，则

P(A)=P(A∣B)P(B)+P(A∣B‾)P(B‾)P(A) = P(A|B)P(B)+P(A|\overline B)P(\overline B) P(A)=P(A∣B)P(B)+P(A∣B)P(B)

对于分割，

P(A)=∑k=1nP(Bk)P(A∣Bk)P(A) = \sum_{k=1}^n P(B_k)P(A|B_k) P(A)=k=1∑n​P(Bk​)P(A∣Bk​)

关键在于寻找一组事件来**“分割”样本空间**。

条件概率版本

P(A∣C)=∑k=1nP(Bk∣C)P(A∣BkC)P(A|C) = \sum_{k=1}^n P(B_k|C)P(A|B_k C) P(A∣C)=k=1∑n​P(Bk​∣C)P(A∣Bk​C)

贝叶斯(Bayes\rm BayesBayes)公式

内容

设B1,⋯,BnB_1,\cdots, B_nB1​,⋯,Bn​为样本空间的一组分割，且P(Bk)>0P(B_k)>0P(Bk​)>0…有

P(Bj∣A)=P(Bj)P(A∣Bj)∑k=1nP(Bk)P(A∣Bk)P(B_j|A) = \frac{P(B_j)P(A|B_j)}{\sum_{k=1}^n P(B_k)P(A|B_k)} P(Bj​∣A)=∑k=1n​P(Bk​)P(A∣Bk​)P(Bj​)P(A∣Bj​)​

通常，B1,⋯BnB_1,\cdots B_nB1​,⋯Bn​是事件AAA发生的原因。

P(Bk)P(B_k)P(Bk​)：先验概率

P(Bk∣A)P(B_k|A)P(Bk​∣A)：后验概率

条件概率版本

P(Bj∣AC)=P(Bj∣C)P(A∣BjC)∑k=1nP(Bk∣C)P(A∣BkC)P(B_j|AC) = \frac{P(B_j|C)P(A|B_j C)}{\sum_{k=1}^n P(B_k|C)P(A|B_kC)} P(Bj​∣AC)=∑k=1n​P(Bk​∣C)P(A∣Bk​C)P(Bj​∣C)P(A∣Bj​C)​

几何理解

例题（1.31.31.3习题888）

解：记事件A=A=A=“选中555黑555白的罐子”，事件B=B=B=“取出222个黑球”，已知P(A∣B)=17P(A|B)=\frac{1}{7}P(A∣B)=71​。

独立性

两个事件的独立

定义

P(AB)=P(A)P(B)P(AB) = P(A)P(B) P(AB)=P(A)P(B)

条件概率版本

P(AB∣C)=P(A∣C)P(B∣C)P(AB|C)=P(A|C)P(B|C) P(AB∣C)=P(A∣C)P(B∣C)

称为AAA和BBB在CCC发生时条件独立。

注记

对于独立事件，P(A)=P(A∣B),P(B)=P(B∣A)P(A) = P(A|B),P(B) = P(B|A)P(A)=P(A∣B),P(B)=P(B∣A)。

零概率事件、必然事件与任何事件独立，不可能事件与任何事件独立。

证明：设BBB为任一事件，

当P(A)=0P(A)=0P(A)=0时，P(AB)=0=0⋅P(B)=P(A)P(B)P(AB)=0=0\cdot P(B)=P(A)P(B)P(AB)=0=0⋅P(B)=P(A)P(B)，所以A、BA、BA、B独立；

当P(A)=1P(A)=1P(A)=1时，P(A‾)=0P(\overline A)=0P(A)=0，同理A‾\overline AA和BBB独立，于是A、BA、BA、B独立。

（0−10-10−1律）若事件AAA与自身独立，则P(A)=0P(A)=0P(A)=0或111

定理

事件AAA与BBB独立⇔\Leftrightarrow⇔事件A‾\overline AA与BBB独立⇔\Leftrightarrow⇔事件AAA与B‾\overline BB独立⇔\Leftrightarrow⇔事件A‾\overline AA与B‾\overline BB独立。

设有随机事件AAA、BBB和CCC，满足P(BC)>0.P(BC)>0.P(BC)>0.事件AAA和BBB相互独立推不出P(A∣BC)=P(A∣C)P(A|BC)=P(A|C)P(A∣BC)=P(A∣C)。

多个事件的独立

定义

多个事件间的相互独立

称n(≥2)n(\ge 2)n(≥2)个事件A1,A2,⋯,An∈FA_1,A_2,\cdots ,A_n\in \mathcal{F}A1​,A2​,⋯,An​∈F相互独立，若对任意的整数m:2≤m≤nm:2\leq m\leq nm:2≤m≤n及任意的1≤i1<⋯<im≤n1\leq i_1<\cdots <i_m\leq n1≤i1​<⋯<im​≤n，

P(Ai1∩⋯∩Aim)=P(Ai1)⋯P(Aim)P(A_{i_1}\cap \cdots \cap A_{i_m})=P(A_{i_1})\cdots P(A_{i_m}) P(Ai1​​∩⋯∩Aim​​)=P(Ai1​​)⋯P(Aim​​)

都成立。

mmmmmm独立(2≤m≤n)(2\leq m\leq n)(2≤m≤n)

称n(≥2)n(\ge 2)n(≥2)个事件A1,A2,⋯,An∈FA_1,A_2,\cdots ,A_n\in \mathcal{F}A1​,A2​,⋯,An​∈Fmmmmmm独立，若对任意1≤i1<⋯<im≤n1\leq i_1<\cdots <i_m\leq n1≤i1​<⋯<im​≤n，

P(Ai1∩⋯∩Aim)=P(Ai1)⋯P(Aim)P(A_{i_1}\cap \cdots \cap A_{i_m})=P(A_{i_1})\cdots P(A_{i_m}) P(Ai1​​∩⋯∩Aim​​)=P(Ai1​​)⋯P(Aim​​)

都成立，即任意mmm个互异的事件同时发生的概率等于各自发生概率的乘积。

注记

n(≥2)n(\ge 2)n(≥2)个事件A1,A2,⋯,An∈FA_1,A_2,\cdots ,A_n\in \mathcal{F}A1​,A2​,⋯,An​∈F相互独立，当且仅当这nnn个事件两两独立，三三独立，⋯\cdots⋯，nnnnnn独立。n(≥2)n(\ge 2)n(≥2)个事件A1,A2,⋯,An∈FA_1,A_2,\cdots ,A_n\in \mathcal{F}A1​,A2​,⋯,An​∈F相互独立，当且仅当对任意的整数m:2≤m≤nm:2\leq m\leq nm:2≤m≤n，其中的任意mmm个互异的事件都相互独立。

定理

相互独立条件下的Poincareˊ\rm Poincar\acute{e}Poincareˊ公式：

P(⋃k=1nAk)=1−P(⋃k=1nAk‾)=1−P(⋂k=1nAk‾)=1−∏k=1nP(Ak‾)=1−∏k=1n(1−P(Ak)).\begin{aligned} P(\bigcup_{k=1}^n A_k) &= 1-P(\overline{\bigcup_{k=1}^n A_k}) = 1-P(\bigcap_{k=1}^n \overline{A_k}) \\ &= 1-\prod_{k=1}^nP(\overline{A_k})= 1-\prod_{k=1}^n(1-P(A_k)). \\ \end{aligned} P(k=1⋃n​Ak​)​=1−P(k=1⋃n​Ak​​)=1−P(k=1⋂n​Ak​​)=1−k=1∏n​P(Ak​​)=1−k=1∏n​(1−P(Ak​)).​

试验的独立

定义

独立试验

试验E1E_1E1​的任一结果与试验E2E_2E2​的任一结果都是相互独立的事件。

贝努里(Bernoulli\rm BernoulliBernoulli)试验

只有两个结果的试验。

称nnn次独立重复的Bernoulli\rm BernoulliBernoulli试验为nnn重Bernoulli\rm BernoulliBernoulli试验。

一维随机变量

定义在Ω\OmegaΩ上 实值函数X=X(ω)X=X(\omega)X=X(ω)为随机变量（r.v.r.v.r.v.），如果对任意的实数xxx，{ω∈Ω:X(ω)≤x}∈F\{\omega\in \Omega:X(\omega)\leq x\}\in \mathcal{F}{ω∈Ω:X(ω)≤x}∈F.

通俗地理解，随机变量就是数值化的不同的试验结果。

分布函数

设XXX为随机变量，对任意的实数xxx，称函数F(x)=P(X≤x)F(x)=P(X\leq x)F(x)=P(X≤x)为xxx的累积分布函数，即分布函数（d.f.d.f.d.f.）。

通俗地理解，分布函数F(x)F(x)F(x)就是XXX不超过xxx的概率。

性质

单调性

有界性：对于任意实数xxx，0≤F(x)≤1,F(+∞)=1,F(−∞)=00\leq F(x)\leq 1,F(+\infin) = 1, F(-\infin) = 00≤F(x)≤1,F(+∞)=1,F(−∞)=0，其中F(+∞)≜lim⁡x→+∞F(x),F(−∞)≜lim⁡x→−∞F(x)F(+\infin)\triangleq \lim_{x\rightarrow +\infin}F(x),F(-\infin)\triangleq \lim_{x\rightarrow -\infin}F(x)F(+∞)≜limx→+∞​F(x),F(−∞)≜limx→−∞​F(x)。

右连续性：对于任意实数xxx，F(x+0)=F(x)F(x+0)=F(x)F(x+0)=F(x)。

可以理解，F(x)−F(x−0)F(x)-F(x-0)F(x)−F(x−0)=P(X=x)P(X=x)P(X=x)，F(x−0)=P(X<x)F(x-0)=P(X<x)F(x−0)=P(X<x).

定理

P(a<X≤b)=F(b)−F(a)P(a<X\leq b) = F(b)-F(a) P(a<X≤b)=F(b)−F(a)

P(X=x)=F(x)−F(x−0),P(X<x)=F(x−0)P(X=x)=F(x)-F(x-0),P(X<x)=F(x-0) P(X=x)=F(x)−F(x−0),P(X<x)=F(x−0)

于是，

P(a≤X≤b)=F(b)−F(a)+F(a)−F(a−0)=F(b)−F(a−0)P(a\leq X\leq b) = F(b)-F(a)+F(a)-F(a-0)=F(b)-F(a-0) P(a≤X≤b)=F(b)−F(a)+F(a)−F(a−0)=F(b)−F(a−0)

其余同理。

离散型随机变量

定义

设随机变量XXX的可能取值为有限个或可列个，记为x1,x2,⋯x_1,x_2,\cdotsx1​,x2​,⋯，则称XXX是离散型随机变量或XXX具有离散型分布，并称pk=P(X=xk)p_k=P(X=x_k)pk​=P(X=xk​)为XXX的分布列或概率函数（p.f.p.f.p.f.）。

分布列的性质 非负性正则性：∑k=1∞pk=1\sum_{k=1}^\infin p_k=1∑k=1∞​pk​=1

分布函数

F(x)=∑k:xk≤xpkF(x) = \sum_{k:x_k\leq x} p_k F(x)=k:xk​≤x∑​pk​

（约定KaTeX parse error: Undefined control sequence: \O at position 11: \sum_{k\in\̲O̲} p_k=0）。

性质

单调不降的阶梯函数间断点为XXX的可能取值点，并在间断点处右连续，且在间断点处的跳跃高度即为p(xk)p(x_k)p(xk​)。

特殊分布

二项分布

设XXX表示nnn重贝努利试验中成功的次数，

P(X=k)=Cnkpk(1−p)n−kP(X=k) = C_n^k p^k (1-p)^{n-k} P(X=k)=Cnk​pk(1−p)n−k

记为X∼b(n,p)X\sim b(n,p)X∼b(n,p)。

特别地，当n=1n=1n=1时，称b(1,p)b(1,p)b(1,p)为两点分布或0−1\rm 0-10−1分布。

泊松分布

P(X=k)=λkk!e−λP(X=k)=\frac{\lambda^k}{k!} e^{-\lambda} P(X=k)=k!λk​e−λ

称XXX为服从参数为λ\lambdaλ的泊松分布，记为X∼P(λ)X\sim P(\lambda)X∼P(λ).

泊松定理

设lim⁡n→+∞npn=λ\lim_{n\rightarrow +\infin} np_n=\lambdalimn→+∞​npn​=λ，则对固定的正整数kkk，

lim⁡n→+∞Cnkpnk(1−p)n−k=λkk!e−λ\lim_{n\rightarrow +\infin} C_n^kp_n^k(1-p)^{n-k}=\frac{\lambda^k}{k!} e^{-\lambda} n→+∞lim​Cnk​pnk​(1−p)n−k=k!λk​e−λ

当nnn充分大、ppp很小、npnpnp适中（通常要求0.1≤np≤100.1\leq np\leq 100.1≤np≤10）时，可作近似计算

P(X=k)=Cnkpnk(1−p)n−k≈npkk!e−np.P(X=k) = C_n^kp_n^k(1-p)^{n-k}\approx \frac{np^k}{k!}e^{-np}. P(X=k)=Cnk​pnk​(1−p)n−k≈k!npk​e−np.

这个链接讲得很好

λ\lambdaλ是二项分布(n,p)(n,p)(n,p)的数学期望，即λ=np\lambda=npλ=np，近似于样本均值。泊松分布可近似理解为nnn趋向于正无穷的二项分布。

通常用来刻画稀有事件发生的次数或个数（当二项分布的ppp较小时泊松分布和二项分布较为接近），和社会生活中各中服务的需求量。

超几何分布

P(X=k)=CMk⋅CN−Mn−kCNnP(X=k) = \frac{C_M^k\cdot C_{N-M}^{n-k}}{C_N^n} P(X=k)=CNn​CMk​⋅CN−Mn−k​​

称为XXX服从参数为(n,N,M)(n,N,M)(n,N,M)的超几何分布，记为X∼h(n,N,M)X\sim h(n,N,M)X∼h(n,N,M).

对应不返回抽样模型。

固定n,kn,kn,k，当N→+∞N\rightarrow +\infinN→+∞且M/N→pM/N\rightarrow pM/N→p时，

CMk⋅CN−Mn−kCNn→Cnkpk(1−p)n−k.\frac{C_M^k\cdot C_{N-M}^{n-k}}{C_N^n}\rightarrow C_n^k p^k(1-p)^{n-k}. CNn​CMk​⋅CN−Mn−k​​→Cnk​pk(1−p)n−k.

几何分布

设XXX表示nnn重贝努利试验中首次成功时的总试验次数，

P(X=k)=p(1−p)k−1P(X=k) = p(1-p)^{k-1} P(X=k)=p(1−p)k−1

记为X∼Ge(p)X\sim Ge(p)X∼Ge(p)。

无记忆性

设X∼Ge(p)X\sim Ge(p)X∼Ge(p)，则

P(X>m+n∣X>m)=P(x>n)P(X>m+n|X>m)=P(x>n) P(X>m+n∣X>m)=P(x>n)

对任意m,n∈N+m, n\in N^+m,n∈N+成立。即：在一系列贝努利试验中，已知在前mmm次未成功的条件下，接下来nnn次试验仍未成功的概率与已经失败的次数mmm无关。

先证P(X>m)=(1−p)mP(X>m) = (1-p)^mP(X>m)=(1−p)m.

直观上理解，P(X>m)P(X>m)P(X>m)表示前mmm次不成功，第(m+1)∼∞(m+1)\sim \infin(m+1)∼∞次可能成功的概率之和，即前mmm不成功的概率(1−p)m(1-p)^m(1−p)m。

在此基础上计算，

P(X>m)=∑k=m+1∞P(X=k)=p(1−p)m+p(1−p)m+1⋯=p∑k=m∞(1−p)k=p⋅(1−p)mp=(1−p)m\begin{aligned} P(X>m) &= \sum_{k=m+1}^\infin P(X=k) = p(1-p)^m+p(1-p)^{m+1}\cdots \\ &= p\sum_{k=m}^\infin (1-p)^k = p\cdot \frac{(1-p)^m}{p} = (1-p)^m \end{aligned} P(X>m)​=k=m+1∑∞​P(X=k)=p(1−p)m+p(1−p)m+1⋯=pk=m∑∞​(1−p)k=p⋅p(1−p)m​=(1−p)m​

由条件概率公式

P(A∣B)=P(AB)P(B),P(A|B) = \frac{P(AB)}{P(B)}, P(A∣B)=P(B)P(AB)​,

P(X>m+n∣X>m)=P(X>m+n且X>m)P(X>m)=P(X>m+n)P(X>m)=(1−p)m+n(1−p)m=(1−p)n=P(X>n).\begin{aligned} P(X>m+n|X>m) &= \frac{P(X>m+n且X>m)}{P(X>m)} \\ &=\frac{P(X>m+n)}{P(X>m)} \\ &=\frac{(1-p)^{m+n}}{(1-p)^m} \\ &= (1-p)^n = P(X>n). \end{aligned} P(X>m+n∣X>m)​=P(X>m)P(X>m+n且X>m)​=P(X>m)P(X>m+n)​=(1−p)m(1−p)m+n​=(1−p)n=P(X>n).​

负二项分布/Pascal\rm PascalPascal分布

设XXX表示贝努利试验中第rrr次成功时的总试验次数，

P(X=k)=Ck−1r−1pr(1−p)k−rP(X=k) = C_{k-1}^{r-1}p^{r}(1-p)^{k-r} P(X=k)=Ck−1r−1​pr(1−p)k−r

记为X∼Nb(r,p)X\sim Nb(r, p)X∼Nb(r,p).

例题（Banach\rm BanachBanach火柴问题）

两盒火柴各有nnn根，分别放在左右两个衣袋里。每次使用时，随机地从其中一盒抽出一根。试求首次发现其中一盒火柴已用完，而另一盒中剩下k(0≤k≤n)k(0\leq k\leq n)k(0≤k≤n)根火柴的概率。

记事件AAA=“取左边口袋中的火柴”，则P(A)=12P(A)=\frac{1}{2}P(A)=21​。首次发现左盒空，即AAA第n+1n+1n+1次发生，于是记XXX为AAA发生n+1n+1n+1次时的试验次数，X∼Nb(n+1,12)X\sim Nb(n+1, \frac{1}{2})X∼Nb(n+1,21​).

记事件BBB=“首次发现左边火柴已用完，而右边剩下k(0≤k≤n)k(0\leq k\leq n)k(0≤k≤n)根火柴”，此时AAA发生n+1n+1n+1次，A‾\overline AA发生n−kn-kn−k次，一共发生了n+1+n−k=2n−k+1n+1+n-k=2n-k+1n+1+n−k=2n−k+1次随机试验。则B={X=2n−k+1}B=\{X=2n-k+1\}B={X=2n−k+1}.于是

P(B)=C2n−k+1−1n+1−1(12)n+1(1−12)2n−k+1−(n+1)=C2n−kn(12)2n−k+1\begin{aligned} P(B) &= C_{2n-k+1-1}^{n+1-1}(\frac{1}{2})^{n+1}(1-\frac{1}{2})^{2n-k+1-(n+1)} \\ &= C_{2n-k}^{n}(\frac{1}{2})^{2n-k+1} \end{aligned} P(B)​=C2n−k+1−1n+1−1​(21​)n+1(1−21​)2n−k+1−(n+1)=C2n−kn​(21​)2n−k+1​

由对称性，"首次发现右边火柴已用完，而左边剩下k(0≤k≤n)k(0\leq k\leq n)k(0≤k≤n)根火柴"的概率与P(B)P(B)P(B)相等，于是题目要求答案为C2n−kn(12)2n−kC_{2n-k}^{n}(\frac{1}{2})^{2n-k}C2n−kn​(21​)2n−k.

连续型随机变量

定义

设随机变量XXX的分布函数为F(x)F(x)F(x)，若存在非负函数p(x)p(x)p(x)，使得对任意的实数xxx，

F(x)=∫−∞xp(t)dt,F(x) = \int_{-\infin}^x p(t){\rm d}t, F(x)=∫−∞x​p(t)dt,

则称XXX为连续型随机变量或具有连续型分布；称p(x)p(x)p(x)为概率密度函数，简称为密度函数（p.d.f.\rm p.d.f.p.d.f.）.

注记

连续函数

P(X=a)=F(a)−F(a−0)=0P(X=a)=F(a)-F(a-0)=0P(X=a)=F(a)−F(a−0)=0

概率为000的事件可能会发生

点概率：1/+∞1/+\infin1/+∞

若xxx是FFF的可导点，则p(x)=dFdx(x)p(x) = \frac{{\rm d}F}{{\rm d}x}(x)p(x)=dxdF​(x).若xxx是FFF的不可导点，p(x)≜0p(x)\triangleq 0p(x)≜0，但理论上可以为任意实数，所以概率密度函数是不唯一的。

概率密度函数不是概率，而反映XXX在xxx附近取值可能性的大小，

P(X∈(x−Δx/2,x+Δx/2))=∫x−Δx/2x+Δx/2p(t)dt≈p(x)ΔxP(X\in(x-\Delta x/2, x+\Delta x/2)) = \int_{x-\Delta x/2}^{x+\Delta x/2} p(t){\rm d}t \approx p(x)\Delta x P(X∈(x−Δx/2,x+Δx/2))=∫x−Δx/2x+Δx/2​p(t)dt≈p(x)Δx

容易发现，

P(X∈D)=∫Dp(x)dx,P(X\in D) = \int_D p(x){\rm d}x, P(X∈D)=∫D​p(x)dx,

即一块面积。

事实上，概率密度函数是概率的概率，具有实际意义的p(x0)p(x_0)p(x0​)其实是p(x0≤x≤x0+Δx),Δx→0p(x_0\leq x\leq x_0+\Delta x),\Delta x\rightarrow 0p(x0​≤x≤x0​+Δx),Δx→0，即一个人为选取的极限。

如果使用高度（yyy方向上的值）表示概率，那么对每个xxx取极限，每个yyy都将趋向于零，我们只能得到一条水平线，所以使用面积表示概率。

具体可以参考3b1b

性质

非负性

正则性

∫−∞+∞p(x)dx=1\int_{-\infin}^{+\infin}p(x){\rm d}x=1 ∫−∞+∞​p(x)dx=1

定理

设p(x)p(x)p(x)为偶函数，即对任意的实数xxx，p(x)=−p(x)p(x)=-p(x)p(x)=−p(x).于是，∀a∈R+\forall a\in R^+∀a∈R+，

F(−a)=12−∫0ap(x)dx,F(−a)+F(a)=1.F(-a) = \frac{1}{2}-\int_0^a p(x){\rm d}x, \quad F(-a)+F(a) = 1. F(−a)=21​−∫0a​p(x)dx,F(−a)+F(a)=1.

特别地，

F(0)=12,P(∣X∣≤a)=2F(a)−1,P(∣X∣≥a)=2(1−F(a))F(0) = \frac{1}{2},P(|X|\leq a) = 2F(a)-1,P(|X|\geq a) = 2(1-F(a)) F(0)=21​,P(∣X∣≤a)=2F(a)−1,P(∣X∣≥a)=2(1−F(a))

从面积的角度出发容易验证

如果觉得《秋季《概率论与数理统计》学习笔记》对你有帮助，请点赞、收藏，并留下你的观点哦！