GTC 2015 - DDNのバーストバッファテクノロジ

そして、独自の軽いプロトコルを使ってIME Burst Bufferに対してI/Oを行う。このとき、Burst BufferはLustreやGPFSと言った標準のファイルシステムのようにアクセスすることができる。

IMEサーバはキャッシュのように働き、使用頻度の低いデータは下位の並列ファイルシステムに追い出し、使用頻度の高いデータをBurst Bufferに置くような制御を行う。また、ハードディスクで実現されている並列ファイルシステムへの書き込みをまとめて書き込み回数を減らすような制御も行う。

ファイルI/Oに必要なバンド幅は時間によって変化するが、99%の時間はピークの33%以下のバンド幅しか必要とせず、70%の時間はピークの5%以下と言う。

IMEが無い場合は、要求されるピークのバンド幅を持つ並列ファイルシステムが必要であるが、IMEを使うと、ピークバンド幅に対応できるSSDで作られたバーストバッファがあれば良い。そして、大容量ハードディスクで構成される並列ファイルシステムに必要とされるバンド幅は、ピークではなく、平均のバンド幅で済む。ただし、平均を超えた期間のR/Wが途切れないだけのSSDの容量と、並列ファイルシステムとのデータの入れ替えを行う賢いIMEソフトが必要である。