什么是Beta分布?

Beta分布是一种 连续型概率密度分布 ,通常使用 Beta(α,β)Beta(\alpha,\beta) 表示,具有两个参数。Beta分布的定义域为 [0,1][0, 1] ,一般用于估计伯努利事件中成功的概率 θ\theta ,即 Bern(N,θ)Bern(N, \theta) 中的 θ\theta

Beta分布的相关推导

Beta分布的概率密度函数

推导过程中,使用 aa 表示伯努利试验成功的次数, bb 表示伯努利试验失败的次数。假定成功的概率为 θ\theta ,则先验概率密度:

p(Fθ)=(a+ba)θa(1θ)b,p(F\mid \theta) = \binom{a+b}{a} \theta ^a (1-\theta) ^b,

其中 FF 表示已发生的事实。根据贝叶斯公式:

p(Fθ)=p(θF)p(F)p(θ),p(F\mid \theta) = \dfrac{p(\theta\mid F)p(F)}{p(\theta)},

可以得到后验概率密度 p(θF)p(\theta \mid F) 满足如下关系:

p(θF)θa(1θ)b.p(\theta \mid F) \propto \theta ^a (1-\theta) ^b.

由于 θ[0,1]\theta\in [0,1] ,因此对上述概率密度函数进行归一化,得到 θ\theta 的概率密度函数:

f(θ)=θa(1θ)b01ta(1t)bdt.f(\theta) = \dfrac{\theta ^a (1-\theta) ^b}{\int _0^1 t^a (1-t)^b \mathrm{d} t}.

定义:α=a+1\alpha = a + 1β=b+1\beta = b + 1 ,则上式可以改写成规范形式:

f(x;α,β)=xα1(1x)β1B(α,β),f(x; \alpha , \beta)=\dfrac{x^{\alpha - 1}(1-x)^{\beta - 1}}{B(\alpha ,\beta)},

其中: B(α,β)=01tα1(1t)β1dtB(\alpha ,\beta) = \int _0^1 t^{\alpha - 1} (1-t)^{\beta - 1} \mathrm{d} t .

Beta分布的期望和方差

首先,不加证明地给出Beta函数与Gamma函数存在的如下关系:

Beta(α,β)=Γ(α)Γ(β)Γ(α+β).Beta(\alpha ,\beta) = \dfrac{\Gamma (\alpha)\Gamma (\beta)}{\Gamma (\alpha + \beta)}.

因而:

E(X)=01xf(x;α,β)dx=01xxα1(1x)β1B(α,β)dx=B(α+1,β)B(α,β)=αα+β.\begin{aligned} E(X)&=\int _0^1 xf(x;\alpha, \beta)\mathrm{d} x\\ &=\int _0^1 x\dfrac{x^{\alpha - 1}(1-x)^{\beta -1}}{B(\alpha ,\beta)} \mathrm{d} x\\ &=\dfrac{B(\alpha +1,\beta)}{B(\alpha, \beta)}\\ &=\dfrac{\alpha}{\alpha +\beta}. \end{aligned}

同理可得:

E(X2)=(α+1)α(α+β+1)(α+β),E(X^2)=\dfrac{(\alpha +1)\alpha}{(\alpha + \beta + 1)(\alpha + \beta)},

于是:

Var(X)=αβ(α+β+1)(α+β)2.Var(X)=\dfrac{\alpha \beta}{(\alpha + \beta + 1)(\alpha + \beta) ^2}.

Beta分布的意义

根据上述推导过程,可以看出,Beta分布常用于估计伯努利试验成功的概率。对于 nn 次伯努利实验,成功次数为 aa ,则伯努利试验的期望成功概率为 Beta(a+1,na+1)Beta(a+1, n-a+1).

- - - - - -