深層学習第1章
やや今更感ありますが、深層学習(機械学習プロフェッショナルシリーズ、岡谷貴之)を読み進めていくことにしたので、自分が気になった点を記録していこうと思います。
まずは第1章から。
第2次ニューラルネットブーム
80年代から90年代、誤差逆伝播法(back propagation)の発明によって多層ニューラルネットの研究は広まるが、90年代後半には終焉する。その原因としては、
- 多層にすると過適合(汎化性能が上がらない)や勾配消失(重みの勾配が小さくなる、あるいは発散する)が起きる
- パラメータと性能の関係性が不明
があった。
自己符号化器(autoencoder)
入力に対し出力が入力に近づくように訓練するニューラルネットのこと。自己符号化器によって事前学習(pretraining)を行うと多層にしても過適合を防げる。
深層学習
問題に応じて異なる方法が使われている。
- 音声認識・・・全結合型ネットワーク。事前学習を行う。
- 画像認識・・・畳み込みニューラルネット(convolutional neural network, CNN)。
- 自然言語処理・・・再帰型ニューラルネット(recurrent neural network, RNN)。
深層学習の成功の背景には大量の学習データと計算機の計算能力の向上がある。
また、事前学習は深層学習に必須の技術ではない。