🏠

relevancy w/ Deep Learning

neural_network.png

Figure 1: neural network

各層のノードのは重みづけ \(W\) とバイアス \(b\) を求める最適化手法。

\[ \ z^{[l]}_i = W^{[l]}_i a^{[l-1]}_i + b^{[l]} \]

\[ \ a^{[l]}_i = \sigma(z^{[l]}) \]

ここで、それに加えて、非線形な関数 \(\sigma\) をはさんでいる。

layers_desision.png

Figure 2: our voting process

各入力が、次の全てのノードに対して、重みづけを行って*投票*しているのと変わらない。

dl_techniques.png

Figure 3: other techniques used in DL

ある任意の層の出力を近接しない別の層に渡すのは、GRU(Gated Recurrent Unit) chung2014empirical, や LSTM (Long Short Term Memory) hochreiter1997long で応用されている。->勾配消失問題。これは深いネットワークに対して、最初の方の層の重みづけが、最終的な結果に影響しにくいという問題を解決するために考えられている。ちょうど、人一人の一票が時として、最終的な政策や“生活の向上に影響しない”不満とも捉えられる。

Convolution (畳み込み)は、各層への順伝搬(Forward Prop)時にいちいち完全グラフでは計算量が大きすぎるために、カーネルを用意して、各層間の繋がりを制限したもの。投票に置き換えると、都民が全ての公園に対する詳細な判断をするのは難しいし、コストがかかるので、自分の生活に関わる、(例えば地理的に近いとか、小さい子供がいるとか)といったことに対するトピックに限定して投票させることに近い。

Bibliography

Date: 2021-01-22 11:48

Author: Yasushi Sakai

Created: 2021-03-11 Thu 07:12