hiden-cubistのブログ

機械学習などの技術や投資に関する情報を記事にしています。

深層学習第1章

やや今更感ありますが、深層学習(機械学習プロフェッショナルシリーズ、岡谷貴之)を読み進めていくことにしたので、自分が気になった点を記録していこうと思います。

まずは第1章から。

 

第2次ニューラルネットブーム

80年代から90年代、誤差逆伝播法(back propagation)の発明によって多層ニューラルネットの研究は広まるが、90年代後半には終焉する。その原因としては、

  • 多層にすると過適合(汎化性能が上がらない)や勾配消失(重みの勾配が小さくなる、あるいは発散する)が起きる
  • パラメータと性能の関係性が不明

があった。

自己符号化器(autoencoder)

入力に対し出力が入力に近づくように訓練するニューラルネットのこと。自己符号化器によって事前学習(pretraining)を行うと多層にしても過適合を防げる。

深層学習

問題に応じて異なる方法が使われている。

深層学習の成功の背景には大量の学習データと計算機の計算能力の向上がある。

また、事前学習は深層学習に必須の技術ではない。 

深層学習 (機械学習プロフェッショナルシリーズ)

深層学習 (機械学習プロフェッショナルシリーズ)