ベイズ推定とグラフィカルモデルの略解をまとめています。あくまで個人のメモですので、必ずしも正しい保証はありません。もしミスがある場合は教えていただければ幸いです。今回はSection4です。

1. 正規分布のパラメータ $\mu, \sigma$ の最尤推定値

$\newcommand {\argmax}{\mathop{\rm arg~max}\limits} \hat{\mu}, \hat{\sigma}\\ \displaystyle =\argmax_{\mu, \sigma} \prod_{i=1}^I Norm_{x_i}[\mu, \sigma^2]\\ \displaystyle =\argmax_{\mu, \sigma} \sum_{i=1}^I \log[Norm_{x_i}[\mu, \sigma^2]]\\ \displaystyle L=\sum_{i=1}^I \log[Norm_{x_i}[\mu, \sigma^2]]$

$\frac{\partial L}{\partial \mu}=0$ を解いて、

$\displaystyle \hat{\mu} = \frac{\sum_{i=1}^I x_i}{I}$

$\frac{\partial L}{\partial \sigma^2}=0$ を解いて、

$\displaystyle \hat{\sigma^2} = \frac{\sum_{i=1}^I (x_i-\mu)^2}{I}$

最尤推定値は $x$ の平均、分散に一致する。

2. 正規分布のパラメータ $\mu, \sigma$ のMAP推定値(事前分布:正規逆ガンマ分布)

$\newcommand{\argmax}{\mathop{\rm arg~max}\limits} \hat{\mu}, \hat{\sigma}\\ \displaystyle =\argmax_{\mu, \sigma} \prod_{i=1}^I Norm_{x_i}[\mu, \sigma^2]NormInvGam_{\mu, \sigma^2}[\alpha, \beta, \gamma, \delta]\\ \displaystyle =\argmax_{\mu, \sigma} \sum_{i=1}^I \log[Norm_{x_i}[\mu, \sigma^2]]+\log[NormInvGam_{\mu, \sigma^2}[\alpha, \beta, \gamma, \delta]]\\ \displaystyle L=\sum_{i=1}^I \log[Norm_{x_i}[\mu, \sigma^2]]+\log[NormInvGam_{\mu, \sigma^2}[\alpha, \beta, \gamma, \delta]]$

$\frac{\partial L}{\partial \mu}=0$ を解いて、

$\displaystyle \hat{\mu} = \frac{\sum_{i=1}^I x_i+\gamma\delta}{I+\gamma}$

$\frac{\partial L}{\partial \sigma^2}=0$ を解いて、

$\displaystyle \hat{\sigma^2} = \frac{\sum_{i=1}^I (x_i-\mu)^2+2\beta+\gamma(\delta-\mu)^2}{I+3+2\alpha}$

MAP推定値は、最尤推定値を $\alpha, \beta, \gamma, \delta$ で補正した値になっている。

3. ベルヌーイ分布のパラメータ $\lambda$ の最尤推定値

$\newcommand{\argmax}{\mathop{\rm arg~max}\limits} \hat{\lambda}\\ \displaystyle =\argmax_{\lambda} \prod_{i=1}^I Bern_{x_i}[\lambda]\\ \displaystyle =\argmax_{\lambda} \sum_{i=1}^I \log[Bern_{x_i}[\lambda]]\\ \displaystyle L=\sum_{i=1}^I \log[Bern_{x_i}[\lambda]]$

$\frac{\partial L}{\partial \lambda}=0$ を解いて、

$\displaystyle \hat{\lambda} = \frac{\sum_{i=1}^I x_i}{I}$

最尤推定値は $x$ の平均に一致する。

4. ベルヌーイ分布のパラメータ $\lambda$ のMAP推定値(事前分布:ベータ分布)

$\newcommand{\argmax}{\mathop{\rm arg~max}\limits} \hat{\lambda}\\ \displaystyle =\argmax_{\lambda} \prod_{i=1}^I Bern_{x_i}[\lambda]Beta_{\lambda}[\alpha, \beta]\\ \displaystyle =\argmax_{\lambda} \sum_{i=1}^I \log[Bern_{x_i}[\lambda]]+\log[Beta_{\lambda}[\alpha, \beta]]\\ \displaystyle L=\sum_{i=1}^I \log[Bern_{x_i}[\lambda]]+\log[Beta_{\lambda}[\alpha, \beta]]$