世界最強の囲碁棋士にも勝ち越し - 半年足らずで劇的に強くなったAlphaGo

このシステムを176GPUに増強し、スコアを3140に引き上げてFan Hui氏と対戦して5勝0敗という成績を上げている。なお、このシステムは1202CPUと176GPUと書かれているがCPUはコア数で数えているのではないかと思われる。とすると、19インチラック2本程度の研究室レベルの規模のマシンと思われる。

AlphaGoでは、盤上の石の配置と次の指し手を入力として、その手の良し悪しを評価する「ポリシーネットワーク」と、石の配置だけから勝ち負けを評価する「バリューネットワーク」という2種類のニューラルネットワークを使っている。ポリシーネットワークは、精度の高いネットワークと、精度は劣るが計算時間の短いネットワークという2つのネットワークがある。

これらのネットワークは、プロの対戦などの棋譜を入力として、教師有り学習を行い、その後AlphaGo同士を対戦させる強化学習を行っている。

ゲームソフトの基本的なアルゴリズムは「Monte Carlo Tree Search(MCTS)」で、2種類のネットワークを使って勝率の高そうな手を選んでいく。しかし、同程度に良い手がある場合は、それらの複数の手の先をそれぞれ探索するので評価するケースが増加して行く。