什么是Beta分布？

Beta分布是一种 连续型概率密度分布 ，通常使用 $Beta(\alpha,\beta)$ 表示，具有两个参数。Beta分布的定义域为 $[0, 1]$ ，一般用于估计伯努利事件中成功的概率 $\theta$ ，即 $Bern(N, \theta)$ 中的 $\theta$ 。

Beta分布的相关推导

推导过程中，使用 $a$ 表示伯努利试验成功的次数， $b$ 表示伯努利试验失败的次数。假定成功的概率为 $\theta$ ，则先验概率密度：

p(F\mid \theta) = \binom{a+b}{a} \theta ^a (1-\theta) ^b,

其中 $F$ 表示已发生的事实。根据贝叶斯公式：

p(F\mid \theta) = \dfrac{p(\theta\mid F)p(F)}{p(\theta)},

可以得到后验概率密度 $p(\theta \mid F)$ 满足如下关系：

p(\theta \mid F) \propto \theta ^a (1-\theta) ^b.

由于 $\theta\in [0,1]$ ，因此对上述概率密度函数进行归一化，得到 $\theta$ 的概率密度函数：

f(\theta) = \dfrac{\theta ^a (1-\theta) ^b}{\int _0^1 t^a (1-t)^b \mathrm{d} t}.

定义： $\alpha = a + 1$ ， $\beta = b + 1$ ，则上式可以改写成规范形式：

f(x; \alpha , \beta)=\dfrac{x^{\alpha - 1}(1-x)^{\beta - 1}}{B(\alpha ,\beta)},

其中： $B(\alpha ,\beta) = \int _0^1 t^{\alpha - 1} (1-t)^{\beta - 1} \mathrm{d} t$ .

首先，不加证明地给出Beta函数与Gamma函数存在的如下关系：

Beta(\alpha ,\beta) = \dfrac{\Gamma (\alpha)\Gamma (\beta)}{\Gamma (\alpha + \beta)}.

因而：

\begin{aligned} E(X)&=\int _0^1 xf(x;\alpha, \beta)\mathrm{d} x\\ &=\int _0^1 x\dfrac{x^{\alpha - 1}(1-x)^{\beta -1}}{B(\alpha ,\beta)} \mathrm{d} x\\ &=\dfrac{B(\alpha +1,\beta)}{B(\alpha, \beta)}\\ &=\dfrac{\alpha}{\alpha +\beta}. \end{aligned}

同理可得：

E(X^2)=\dfrac{(\alpha +1)\alpha}{(\alpha + \beta + 1)(\alpha + \beta)},

于是：

Var(X)=\dfrac{\alpha \beta}{(\alpha + \beta + 1)(\alpha + \beta) ^2}.

根据上述推导过程，可以看出，Beta分布常用于估计伯努利试验成功的概率。对于 $n$ 次伯努利实验，成功次数为 $a$ ，则伯努利试验的期望成功概率为 $Beta(a+1, n-a+1)$ .