ソニー小林さんのDeep Learningの解説が分かりやすいと評判！
ソニーの小林さんが説明してくれているバックプロパゲーションが分かりやすいようです。
ここで紹介しておきます。
学習データを用いたWの更新方法
ニューラルネットワークでは。乱数で初期化したパラメータWをミニバッチ勾配下降法で更新していくのが一般的
- 学習データからミニバッチを取得
- ミニバッチを用いてForword、計算を行い、現在のパラメータWによる出力ｙとロス（最小化したい値）Ｅを求める。
- Backward計算を（ロスＥの逆伝播）行い、パラメータＷの勾配を求める
- Updateを行う（求めたＷの勾配を元にＷを更新）
Back Propagationの解説
動画８分ぐらいから解説をしています。
関数が様々な形で構成される可能性のあるニューラルネットワークにおいて、パラメータの勾配を求めるには？
↓
出力から順に遡りながら勾配を計算することで合成関数の微分を行う
これをバックプロパゲーションという