GTC 2015 - Deep Learningを理解する(前編)

やsigmoid(x)が使われたが、2012年にトロント大学のHinton教授のグループがmax(0,x)を使うと学習速度が大幅に早まるという論文を発表し、max(0,x)が使われるようになった。この関数は入力が正の場合は正の出力となり、負の場合はゼロとなる整流器(ダイオード)のような特性であることから、Rectified Linear Functionと呼ばれている。

プーリング(Pooling)は、定義した小領域(通常、2×2か3×3)の中での最大値を選んで、その値を出力する。非線形関数の適用やプーリングは、フィルタリングで作られたそれぞれのフィーチャーマップについて個別に行われる。

畳み込み処理を行う層は、学習を行うフィルタリング機能、非線形関数、プーリング機能を持っている。そして学習は、この画像は何が写っているという情報(ラベルと呼ぶ)が付いた画像を使って行われ、フィルタの入力ピクセルの重みづけを調整してラベルとの誤差が小さくなるようにする。この手順は出力側から入力に向かって順番に実行して行くのでバックプロパゲーション(Back Propagation)と呼ぶ。このやり方で精度を上げるためには多くの画像が必要である。

(中編に続く)