こんにちは。
産婦人科医で人工知能の研究をしているTommy（Twitter：@obgyntommy）です。
今回の記事はベイズ統計学では様々な確率分布を用いる場合が多いです。
ベイズ統計の理論と方法の基本的内容については以下の記事を参照ください。
-
ベイズ統計の理論と方法【初心者向け】
続きを見る
ベイズ統計の理論の流れと、実際の事後確率の計算方法については以下の記事を参照ください。
-
ベイズ統計の理論と実際の計算方法【初心者向け】
続きを見る
ベイズ更新を例題を用いて解説している記事は以下を参照ください。
-
ベイズ更新の概念を理解する【ベイズ更新を例題を用いて解説】
続きを見る
本記事のテーマです。
- ベイズ統計学で用いられる基本的な確率分布を大まかに理解する
では早速見ていきましょう。
様々な確率分布
ベルヌーイ分布
ベルヌーイ分布についてはこの記事でも解説したので、ご参照ください。
ベルヌーイ分布はコイン投げ(表や裏)など2者択一の際に使用されます。
ここで、ベルヌーイ分布の式です。
$$\text { Bernoulli}(x | \theta)=\theta^{x}(1-\theta)^{1-x}$$
2者択一の時に用いられるため、$x$ は $0$ か1しかありません。
ベルヌーイ分布の性質としては以下のものがあります。
$$E[X]=\theta$$
$$V[X]=\theta(1-\theta)$$
期待値は$θ$ になり分散も$\theta(1-\theta)$ となることはおさえておいてください。
2項分布
ベルヌーイ分布を複数回行なった時の分布が2項分布となります。
すなわち、N回のコインを投げた時に表の出る数の分布を表した分布図が2項分布の図となります。
ここで、2項分布の式です。
- $x$ :表が出る確率
- $N$ :何回コインを投げたのか
- $θ$ :表が出る確率
$$\text { Binomial }(x | N, \theta)=\frac{N !}{x !(N-x) !} \theta^{x}(1-\theta)^{N-x}$$
2項分布の性質としては以下になります。
ベルヌーイ分布と良く似ており、ベルヌーイ分布を単純にN倍した形になります。
$$E[X]=N \theta$$
$$V[X]=N \theta(1-\theta)$$
一様分布
一様分布は、事前分布や確率変数に特徴がない場合に使用されます。
分布は名前の通り一様なものになります。
$a〜b$ の区間の間では一様な確率を示す時に一様分布となります。
一様分布の式を示します。
$$\text {Uniform}(x | a, b)=\frac{1}{b-a}$$
一様分布の性質としては以下になります。
$$E[X]=\frac{b+a}{2}$$
$$V[X]=\frac{(b-a)^{2}}{12}$$
Beta 分布
Beta分布は確率変数が [0, 1] で定義される場合に使用されます。
Beta分布ではα とβの2つのパラメータが必要となります。
beta分布の式を示します。
$$\operatorname{Beta}(x | \alpha, \beta)=\frac{1}{B(\alpha, \beta)} x^{\alpha-1}(1-x)^{\beta-1}$$
Beta分布の性質としては以下の様になります。
$$E[X]=\frac{\alpha}{\alpha+\beta}$$
$$V[X]=\frac{\alpha \beta}{(\alpha+\beta)^{2}(\alpha+\beta+1)}$$
少しややこしい式ですが、こういうものだと思っておいてください。
正規分布
正規分布は統計学の中でも非常に一般的な分布となります。
測定誤差や身長の分布など、様々な場所で使用されます。
正規分布の式を示します。
- $μ$ : 平均値
- $δ$ : 標準偏差
$$\begin{array}{l}{\text { Normal }(x | \mu, \sigma)} \\ {=\frac{1}{\sqrt{2 \pi \sigma^{2}}} \exp \left(-\frac{1}{2} \frac{(x-\mu)^{2}}{\sigma^{2}}\right)}\end{array}$$
$exp()$ の()の中身が分布のバラツキを示しています。
正規分布の性質としては以下の様になります。
$$\boldsymbol{w}=\left(\boldsymbol{X}^{T} \boldsymbol{X}\right)^{-1} \boldsymbol{X}^{T} \boldsymbol{y}$$
$$V[X]=\sigma^{2}$$
指数分布
指数分布は機械の耐用年数や地震の起こる間隔などで使用されます。
指数分布は正規分布よりも裾が広いことが特徴となっています。
指数分布の式を示します。
$$\text {Exponential}(x | \theta)=\frac{1}{\theta} \exp \left(-\frac{x}{\theta}\right)$$
この様に文応の式が指数関数の形を取るために '指数分布' と言います。
$θ$ は分布の減衰率を表しています。
指数分布の性質としては以下の様になります。
$$E[X]=\theta$$
$$V[X]=\theta^{2}$$
指数分布の無記憶性
指数分布には、「指数分布の無記憶性」という性質があります。
時間の原点をずらしても、分布は同じになる、という特徴を示しています。(下の式で証明します。)
例えば、昨日家の前の木に雷が落ちたから、当分雷は落ちないだろう、とはならないわけです。(無記憶性)
指数分布の式は以下の式でした。
$$\text {Exponential}(x | \theta)=\frac{1}{\theta} \exp \left(-\frac{x}{\theta}\right)$$
ここで、
$x$ の原点をズラすような式変形を行います。
$$x^{\prime}=x+a$$ ($a$ は定数)とすると、
$$\begin{aligned} \text {Exponential }\left(x^{\prime} | \theta\right) & \propto \exp \left(-\frac{x^{\prime}}{\theta}\right) \\ & \propto \exp \left(-\frac{x+a}{\theta}\right) \\ & \propto \text {const.} \times \exp \left(-\frac{x}{\theta}\right) \\ &=\text {Exponential}(x | \theta) \end{aligned}$$
この様な式が成立します。
Poisson分布
指数分布の分布図に複数回従う時にはPoissonの分布図を使用します。
これは先程のベルヌーイ分布が複数回起きた時に2項分布になった様なイメージです。
例えば、交通事故の数など、同じ指数分布に従う独立な確率変数のイベントの数の分布を表す際に使用されます。($x$ が交通事故が起こる回数となります。)
以下がPoisson分布の式です。
$$\text { Poisson }(x | \lambda)=\frac{1}{x !} \lambda^{x} \exp (-\lambda)$$
以下がpoisson分布の性質となります。
$$E[X]=\lambda$$
$$V[X]=\lambda$$
ここで、特徴的なことは、平均値と分散が同値を取る、ということです。
分布図としては、分布の幅がそれほど広がらない上に、同様の確率の値を取る、といった特徴があります。
Gamma分布
Gmma分布は感染症の潜伏期間などの測定に用います。
Gmma分布は指数分布と同じ様な式になります。
($k = 1$の場合には指数分布になります。)
以下がGamma分布の式です。
$$\operatorname{Gamma}(x | k, \theta)=\frac{1}{\Gamma(k) \theta^{k}} x^{k-1} \exp \left(-\frac{x}{\theta}\right)$$
以下がGamma分布の性質となります。
$$E[X]=k \theta$$
$$V[X]=k \theta^{2}$$
自然共役事前分布
自然共益事前分布について解説していきます。
ここでは、尤度関数ごとに相性の良い事前分布がある、ということについて学んでいきたいと思います。
「自然共益事前分布」とは、ある尤度関数を使用した時に、(事後分布の形) = (事前分布の形) が成立する事前分布のことを言います。
尤度関数がBernoulli分布の場合の自然共役事前分布の形
尤度関数の式がBernoulli分布に従う際には、Bernoulli分布の式を用いて、尤度関数はこの様に定義されます。
$$\text { Bernoulli }(x | \theta)=\theta^{x}(1-\theta)^{1-x}$$
この時に、自然共役事前分布は以下の形になります。
$$\operatorname{Beta}(\theta | \alpha, \beta)=\frac{1}{B(\alpha, \beta)} \theta^{\alpha-1}(1-\theta)^{\beta-1}$$
するとベイズの定理より事後分布は次の式の様になります。
$$f(x | \theta) f(x) \propto \theta^{x}(1-\theta)^{x} \cdot \theta^{\alpha-1}(1-\theta)^{\beta-1}$$
$$\begin{aligned} f(x | \theta) f(x) & \propto \theta^{x}(1-\theta)^{x} \cdot \theta^{\alpha-1}(1-\theta)^{\beta-1} \\ & \propto \theta^{\alpha+x-1}(1-\theta)^{\beta+x-1} \\ & \propto \theta^{\alpha^{\prime}-1}(1-\theta)^{\beta^{\prime}-1} \end{aligned}$$
この様に式変形を行う事ができます。
そこで、
$\begin{array}{l}{\alpha^{\prime}=\alpha+x} \\ {\beta^{\prime}=\beta+x}\end{array}$ と置換すると、一番上の式はこの様に式変形を行う事ができます。
$$f(x | \theta) f(\theta) \propto \theta^{x}(1-\theta)^{1-x}$$
この様に統計モデルが決まると、尤度関数が決定し、自然共役事前分布も決定します。
主な対応は以下の表の様になります。
| 自然共役事前分布 | 尤度 | 事後分布 |
| Beta分布 | Bernoulli分布 | Beta分布 |
| Beta分布 | 2項分布 | Beta分布 |
| Gammma分布 | Poisson分布 | Gamma分布 |
| 正規分布 | 正規分布の平均 | 正規分布 |
| 逆Gamma分布 | 正規分布の分散 | 逆Gamma分布 |
自然共役事前分布を用いると、何が便路なのかというと、
事後分布が事前分布と同じ様な形になるため、ベイズ更新している間に事後分布の形がどんどん複雑になっていく、、などの心配がなく、
事後分布を解析的に求める事ができます。
まとめ
様々な確率分布について紹介しました。
あくまで、紹介ですので、全て覚える必要はありません。
この分布はどの様な時に使用するのか、程度の理解で問題ありません。
統計モデリングを行う際に、今回紹介した確率分布が出てくる可能性があり増すので参考にしてください。