ベイズ推定とグラフィカルモデルの略解をまとめています。あくまで個人のメモですので、必ずしも正しい保証はありません。もしミスがある場合は教えていただければ幸いです。今回はSection9です。

1. ヤコビ行列、ヘッセ行列の計算

$f_1= \begin{pmatrix} at^3+bt+c\\ 3dt^2+2et+f\\ \end{pmatrix}\\ p_1=(a,b,c,d,e,f)^T$

とすると、

$\displaystyle \frac{\partial f_1}{\partial p_1}= \begin{pmatrix} t^3 & t & 1 & 0 & 0 & 0\\ 0 & 0 & 0 & 3t^2 & 2t & 1\\ \end{pmatrix}\\$

また、

$f_2=abt^2+b^2ct+d\\ p_2=(a,b,c,d)^T$

とすると、

$\displaystyle \frac{\partial f_2}{\partial p_2}=(bt^2,at^2+2bct,b^2t)\\ \displaystyle \frac{\partial^2 f_2}{\partial p_2^2}= \begin{pmatrix} 0 & t^2 & 0 & 0\\ t^2 & 2ct & 2bt & 0\\ 0 & 2bt & 0 & 0\\ 0 & 0 & 0 & 0\\ \end{pmatrix}\\$

2. ロジスティック回帰の対数尤度のヤコビ行列、ヘッセ行列の計算

$\displaystyle L=\sum_{i=1}^Iw_i\log(\frac{1}{1+\exp(-\phi^Tx_i)})+\sum_{i=1}^I(1-w_i)\log(\frac{\exp(-\phi^Tx_i)}{1+\exp(-\phi^Tx_i)})$

とすると、

$\begin{align} \frac{\partial L}{\partial \phi} &=\frac{\partial}{\partial \phi}\sum_{i=1}^I[(1-w_i)(-\phi^Tx_i)-\log(1+\exp(-\phi^Tx_i))]\\ &=-\sum_{i=1}^Ix_i[{(1-w_i)-\frac{\exp(-\phi^Tx_i)}{1+\exp(-\phi^Tx_i)}}]\\ &=-\sum_{i=1}^I(sig[\phi^Tx_i]-w_i)x_i\\ \frac{\partial^2 L}{\partial \phi^2} &=-\sum_{i=1}^Ix_i\frac{\exp(-\phi^Tx_i)}{(1+\exp(-\phi^Tx_i))^2}x_i^T\\ &=-\sum_{i=1}^Isig[\phi^Tx_i] (1-sig[\phi^Tx_i])x_ix_i^T \end{align}$

3. $Beta_\lambda(6,2)$ のラプラス近似

$\begin{align} Beta_\lambda[6,2] \displaystyle &=\frac{\Gamma(8)}{\Gamma(6)\Gamma(2)}\lambda^5(1-\lambda)\\ \displaystyle &=42\lambda^5(1-\lambda)\\ \frac{df}{d\lambda} \displaystyle &=42\lambda^4(5-6\lambda)\\ \frac{df^2}{d\lambda^2} \displaystyle &=420\lambda^3(2-3\lambda)\\ \end{align}$