常见的概率分布
Published:
常见的的离散概率分布
二项分布 Binomial Distribution
有一个成功概率为 $p$ 的事件，我独立地重复做 $n$ 次，令成功的次数为 $X$。
这样的概率分布记为：
\[X \sim \mathcal B(n,p)\]（$\mathcal B$ 而不是 $B$，是为了和 Beta 函数做区分）
其 PMF 为：
\[P(X = k) = \binom n k p^k (1-p)^{n-k}\]特别地，只做 $1$ 次实验，即 $\mathcal B(1,p)$，被称为伯努利分布（Bernoulli distribution）。
二项分布的期望和方差
一次 Bernoulli 实验的结果，期望为 $p$，方差为：
\[p^2 \times (1 - p) + (1 - p)^2 \times p = p (1 - p)\]$n$ 次独立相同 Bernoulli 实验的结果之和，显然就是期望为 $np$，方差为 $n p(1-p)$。
当然还有一个从定义出发的证法：
\[\begin{aligned} & \mathbb E[X] \\ =& \sum\limits_{k=0}^n k \binom n k p^k (1-p)^{n-k} \\ =& n! \times \sum\limits_{k=0}^n \frac {k \times p^k} {k!} \frac {(1-p)^{n-k}} {(n-k)!} \\ =& \left[ \frac {x^n} {n!} \right] \left( px e^{px} \times e^{(1-p)x} \right) \\ =& \left[ \frac {x^n} {n!} \right](pxe^x) \\ =& np \\ \end{aligned}\]这里由于我注意力不足使用了 EGF，其实朴素的二项式定理也能做。
方差同理，注意 $k^2$ 可以下降幂分解为 $k(k-1) + k$。比较方便的推法是 $\text{Var}(X) = \mathbb E[X^2] - \mathbb E[X]^2 = \mathbb E[X(X-1)] + \mathbb E[X] - \mathbb E[X]^2$。
下降幂和组合数结合时性质往往很好，毕竟组合数的定义就有下降幂。
几何分布 Geometric Distribution
有一个成功概率为 $p$ 的事件，我独立地重复做直到成功为止。令做的次数为 $X$。
这样的概率分布记为：
\[X \sim G(p)\]
其 PMF 为：
\[P(X = k) = p (1-p)^{k-1}\]P.S. 如果是做 $r$ 次才停下，这样的分布被称为帕斯卡分布。
泊松分布 Poisson Distribution
有一个随机变量 $X \sim \mathcal B(n,p)$，可知 $\mathbb E[X] = np$。现在我们让 $\lambda = np$ 固定，但是 $n \to \infty$（与此同时 $p \to \infty$）。问此时 $X$ 的概率分布。
这样的概率分布记为：
\[X \sim \text{Poisson}(\lambda)\]
其 PMF 为：
\[P(X = k) = \frac {\lambda^k e^{- \lambda}} {k!}\]推导很直接，把二项分布的 PMF 取极限即可（阶乘可以用 Stirling 公式），略去。来看一个例子：
一家咖啡厅平均每小时来 $10$ 位顾客，每一位顾客来不来咖啡厅不受其它顾客影响，两个顾客不会在同一时间到达。问一小时内来 $12$ 位顾客的概率是？
我们把一个小时分成 $n$ 个时间小段。只要我们切的足够细，就不会有两个事件在同一小段内发生。也就是说我们做了 $n$ 次 Bernoulli 实验，每一次实验顾客到来的概率是 $\frac \lambda n$。因此最后的分布是 $\mathcal B(n, \frac \lambda n)$，在 $n \to \infty$ 时符合 Poisson 分布：
\[P(X = 12) = \frac {10^{12} e^{-10}} {12!} \approx 9.48\%\]常见的连续概率分布
均匀分布 Uniform Distribution
\[X \sim U(a,b)\]其 PDF 定义为：
\[f(x) = \begin{cases} \frac 1 {b-a} & x \in (a,b) \\ 0 & \text{otherwise} \\ \end{cases}\]很平凡。
正态分布 Normal Distribution / Gaussian
\[X \sim \mathcal N(\mu, \sigma^2)\]一个 $\mathbb E[X] = \mu$ 且 $\text{var}(X) = \sigma^2$ 的正态分布，其 PDF 定义为：
\[f(x) = \frac 1 {\sqrt{2 \pi \sigma^2}} \exp \left( -\frac {(x - \mu)^2} {2 \sigma^2} \right)\]很不幸，$f$ 的积分没有解析表达式（可以规约到 $e^{-x^2}$ 的积分问题，不可解），所以很多时候都只能数值算。图像长这样（左边是 $f$，右边是 $f$ 的积分）：
特别地，$\mathcal N(0,1)$ 被称为标准正态分布：
\[f(x) = \frac 1 {\sqrt {2 \pi}} \exp \left( - \frac {x^2} 2 \right)\]好吧我承认这么直接引入正态分布是非常蠢的，在这篇文章中有很多符合直觉的东西，能够加深对于正态分布的真正理解。
负指数分布 Exponential Distribution
一个事件的发生次数服从泊松分布 $\text{Poisson}(\lambda)$。求该事件的发生间隔 $X$ 的概率分布。
这样的概率分布记为：
\[X \sim \text{Exp}(\lambda)\]
其 PDF 为：
\[f(x) = \begin{cases} \lambda e^{- \lambda x} & x \ge 0 \\ 0 & x < 0 \\ \end{cases}\]证明：我们观察其 CDF $F(x) = \int_{-\infty}^x f(t) dt$。$1 - F(x)$ 即为第一次事件发生时间隔 $> x$ 的概率，即 $[0,x]$ 没有事件发生的概率，由 Poisson 分布可以计算：
\[1 - F(x) = \frac {(\lambda x)^0 e^{-\lambda x}} {0!} = e^{- \lambda x}\]因此 $F(x) = 1 - e^{- \lambda x}$，求导得到 $f$ 的表达式。
Gamma Distribution
TODO:
https://reformship.github.io/pages/123advanced.html
https://reformship.github.io/pages/1capacity/2math/%E6%95%B0%E5%AD%A6%20%E6%A6%82%E7%8E%87%E7%BB%9F%E8%AE%A133%20Gamma%E5%88%86%E5%B8%83%E4%B8%8E%E9%80%86Gamma%E5%88%86%E5%B8%83.html
https://zh.wikipedia.org/wiki/%E4%BC%BD%E7%8E%9B%E5%88%86%E5%B8%83
https://zhuanlan.zhihu.com/p/695490094
https://www.zhihu.com/question/34866983/answer/60191363
https://zhuanlan.zhihu.com/p/4798265277
Beta Distribution
TODO:
https://reformship.github.io/pages/1capacity/2math/%E6%95%B0%E5%AD%A6%20%E6%A6%82%E7%8E%87%E7%BB%9F%E8%AE%A134%20%E8%B4%9D%E5%A1%94%E5%88%86%E5%B8%83.html
https://en.wikipedia.org/wiki/Beta_distribution
https://zh.wikipedia.org/wiki/%CE%92%E5%88%86%E5%B8%83