ディープラーニングの原理とビジネス化の現状 (1) ディープラーニングシステムの基本を知る

におけるGoogleのJeff Dean氏の基調講演とそのスライドを基にして説明する。

○ディープラーニングとはどのようなシステムか

ディープラーニングのシステムは、人間の脳についての知識を利用して階層的に認識を行うシステムである。

次の図の正方形の中に描かれている●や○は神経細胞のような働きをする。猫の画像を第1層の神経細胞に入力して処理を行い、その出力を第2層の神経細胞に入力して処理するという多層構造になっており、脳がそれぞれの場所でだんだんと高次の抽象性を持った情報を抽出するのと似たような処理を行い、後の層になるほど抽象度の高い情報を抽出する。

次の図の上側のニューロンは、下のx1、x2、x3と書かれたニューロンからの信号にそれぞれ、w1、w2、w3という重みを掛けて、それらの総和を取り、総和を非線形の関数(ここでは、正の入力はそのままで、負の入力は0にするmax(0,x))を通して出力を作る。また、単に総和だけではなく、定数のバイアスを加えるというケースも多い。重みは正の値とは限らず、負の値を持つ場合もある。ここでは図を書く都合で入力は3つしか描かれていないが、実際にはもっと多数の入力を持ったニューロンが使われる。