hiden-cubistのブログ

機械学習などの技術や投資に関する情報を記事にしています。

ベイズ推定とグラフィカルモデル Section3 Worksheet

ベイズ推定とグラフィカルモデルの略解をまとめています。あくまで個人のメモですので、必ずしも正しい保証はありません。もしミスがある場合は教えていただければ幸いです。今回はSection3です。

1. 共役分布

ベルヌーイ分布: ベータ分布
カテゴリ分布: ディリクレ分布
1次元正規分布: 正規逆ガンマ分布

2. 正規分布の共役性


\displaystyle P(x|\mu)=\frac{1}{\sqrt{2\pi}}\exp(\frac{-(x-\mu)^2}{2})\\
P(\mu)=Norm_\mu[0,1]

とすると、


P(x|\mu)P(\mu)\\
\displaystyle =\frac{1}{2\sqrt\pi}\exp(-\frac{x^2}{4})\frac{1}{\sqrt{2\pi(\frac{1}{2}})}\exp(\frac{-(\mu-\frac{x}{2})^2}{2(\frac{1}{2})})\\
\displaystyle =\frac{1}{2\sqrt\pi}\exp(-\frac{x^2}{4})Norm_\mu[\frac{x}{2}, \frac{1}{2}]