富士通研、大規模データから機械学習で短時間に予測モデルを生成する技術

実行時間の実績に基づいた実行時間推定の補正も実施して推定精度を向上させている。

過去に実施したアルゴリズムや動作条件の組合せと、得られた予測モデルの精度をデータベースである性能ナレッジに記録しておき、新しい組合せの予測精度を推定。これにより、少量のサンプルデータでも予測精度を損なわない必要最小限のデータ量を見極めることができるという。

あらゆる組合せの候補の中から時間効率の高い学習を選び出し、効率的かつ並列に学習を繰り返す、機械学習アルゴリズムを自動的にチューニングする制御技術では、従来、分析者のノウハウに頼った手探りで分析が進められてきたものを、実行時間と予測精度の推定結果を総合判断し、短時間に実行が終わるアルゴリズムと動作条件の組合せを複数抽出して、並列に実行。これにより、実行時間を考慮に入れた最適な順番でアルゴリズムを実行することができ、短時間で高精度な機械学習を選択することが可能になるという。

同社では、社内実験で5,000万件規模のデータを12CPUコアのサーバ8台で処理したところ、従来、1週間程度かかっていた精度96%の予測モデルを、本技術では2時間強で得られることを確認したという。