ベイズ推定とグラフィカルモデルの略解をまとめています。あくまで個人のメモですので、必ずしも正しい保証はありません。もしミスがある場合は教えていただければ幸いです。今回はSection7です。

1. 混合正規分布のEMアルゴリズムのEステップの導出

$\displaystyle \sum_{k=1}^K \lambda_k=1\quad(1)$

であるから、

$\displaystyle L=\sum_{i=1}^I \sum_{k=1}^K r_{ik}\log[\lambda_k Norm_{x_i}[\mu_k, \Sigma_k]]+\nu(\sum_{k=1}^K \lambda_k-1)$

とする。

$\frac{\partial L}{\partial \lambda_k}=0$ を解いて、

$\displaystyle \lambda_k = \frac{\sum_{i=1}^I r_{ik}}{\sum_{k=1}^K \sum_{i=1}^I r_{ik}}$

ただし(1)を利用した。

$\frac{\partial L}{\partial \mu_k}=0$ を解いて、

$\displaystyle \mu_k = \frac{\sum_{i=1}^I r_{ik}x_i}{\sum_{i=1}^I r_{ik}}$

$\frac{\partial L}{\partial \Sigma_k}=0$ を解いて、

$\displaystyle \Sigma_k = \frac{\sum_{i=1}^I r_{ik}(x_i-\mu_k)(x_i-\mu_k)^T}{\sum_{i=1}^I r_{ik}}$

2. t分布

$\displaystyle \int_{0}^{\infty}\exp(-ah)h^bdh\\ \displaystyle =\frac{b}{a}\int_{0}^{\infty}\exp(-ah)h^{b-1}dh\\ = \cdots\\ \displaystyle =\frac{b!}{a^b}\int_{0}^{\infty}\exp(-ah)dh\\ \displaystyle =\frac{b!}{a^{b+1}}$

これより、

$\displaystyle \int Norm_{x}[\mu, \frac{\sigma^2}{h}]Gam_h[\frac{\nu}{2},\frac{\nu}{2}]dh\\ \displaystyle =\frac{1}{\sqrt{2\pi\sigma^2}}\frac{(\frac{\nu}{2})^{\frac{\nu}{2}}}{\Gamma(\frac{\nu}{2})}\int\exp(-\frac{(x-\mu)^2+\nu\sigma^2}{2\sigma^2}h)h^{\frac{\nu-1}{2}}dh\\ \displaystyle =\frac{1}{\sqrt{2\pi\sigma^2}}\frac{(\frac{\nu}{2})^{\frac{\nu}{2}}}{\Gamma(\frac{\nu}{2})}(\frac{\nu-1}{2})!(\frac{(x-\mu)^2+\nu\sigma^2}{2\sigma^2})^{-\frac{\nu+1}{2}}\\ \displaystyle =\frac{\Gamma(\frac{\nu+1}{2})}{\sqrt{\nu\pi\sigma^2}\Gamma(\frac{\nu}{2})}{(1+\frac{(x-\mu)^2}{\nu\sigma^2})}^{-\frac{\nu+1}{2}}\\ = Stud_{x}[\mu, \sigma^2, \nu]$

3. factor analysis

$x=\mu+\Phi h+\epsilon\\ h\sim Norm_h[0, I]\\ \epsilon\sim Norm_{\epsilon}[0, \Sigma]$

とする。このとき、

$E[x]\\ =E[\mu+\Phi h+\epsilon]\\ =E[\mu]+\Phi E[h]+E[\epsilon]\\ =\mu$

$E[(x-E[x])(x-E[x])^T]\\ =E[(\Phi h+\epsilon)(\Phi h+\epsilon)^T]\\ =\Phi \Phi^T E[h h^T]+2\Phi E[h]E[\epsilon^T]+E[\epsilon\epsilon^T]\\ =\Phi \Phi^T+\Sigma$