GTC 2015 - GoogleのDeep Learning

GoogleのシニアフェローのJeff Dean氏が、GTC 2015においてGoogleのDeep Learningについて基調講演を行った。

Jeff Dean氏はMapReduce、BigTable、Spannerなどを開発してきたエンジニアで、最近ではGoogle TranslateやGoogle Brainなどを開発している。

テキスト、画像、オーディオ、ユーザのアクティビティ、知識を関連付けるグラフなど大量のデータがあるが、それらを理解する手続き的なプログラムを作ることは困難である。そこでDeep Learningが必要となるという。

Deep Learningでは、脳に関する我々のもっているわずかな知識にヒントを得て作られた神経(ニューロン)のネットワークを使う。このネットワークは多層の構造を持っており、右側の層になるほど高次の抽象化が行われる。

人工のニューロンは、ニューロンへの入力Xiに重みWiを掛けて、全入力の総和を求め、その値が負ならゼロ、正なら総和の値を出力する。なお、この図では3つの入力しかないが、実用的なニューラルネットワークでは数100、数1000の入力をもつニューロンが使われる。