NVIDIAが解説する「いまさら聞けない!? ディープラーニング入門」 - 概要からSDKの紹介まで

と呼ばれるものを提供している。これは、深層学習で必要となる各種の計算ライブラリや、実行、評価のための簡易な実行環境などからなる。

GPUを汎用演算で利用する場合、いわゆるシェーダー機能を利用するが、NVIDIAの場合には、CUDAを使う。ライブラリには、密行列や粗行列用の計算ルーチン、畳み込み演算などが用意されている。

密行列とは、行列(配列)データの構造のことで、すべての要素を省略なく持つものが密行列で、一方の疎行列とは、大半の要素がゼロなどの場合に非ゼロ値を持つ要素のみを保持するようなデータ構造をさす。このようにすることで巨大な行列でも理論的な要素数に比べて、データサイズが小さくなり、密行列ではメモリに入りきれないような巨大な行列を保持することが可能になる。

ディープラーニングSDKには、cuSPARSEと呼ばれる、粗行列演算ライブラリが用意されている。最新のアップデートでは、テキスト内の単語の出現頻度などの巨大なベクトルデータ(これが疎行列となる)と密行列との演算機能が追加された。こうした処理は、自然言語処理などで利用されることが多いという。

密行列ライブラリcuBLASでは、新たに16ビット半精度浮動小数点形式(FP16)