日立、大量のテキストから賛否の根拠を提示する人工知能の基礎技術を開発

さらに、使用頻度に応じて重要度を付与することで、価値とそれに関連する単語を体系的に整理し、例えば、「健康」という価値においては、「運動」はポジティブ、「病気」「肥満」はネガティブなどのように単語の関連性を体系的に整理している。

事象と価値の相関関係データベースの作成にあたっては、大量のニュース記事の中で使用されているさまざまな文章の中から、記載されている事象がどのような価値をもたらしているかを抽出した。この手法により、約970万件のニュース記事から、約2億5千万からなる相関関係データベースを作成したという。

そのほか、価値体系辞書と相関関係データベースを活用して抽出した文を、引用元の記載や数値データの有無、使われている表現などの指標を用いて数値化することで、議題に対して関連性の高いものであるかどうかを判定する。根拠や理由となる可能性のある全ての文にこの処理を行い、数値を算出することで、より確実性の高い文を選出し提示することができる。

今回開発されたアーキテクチャは、1つのアルゴリズムを並列に分散処理するとともに、次のプロセスへの非同期な処理を行うことで、指定した時間内に根拠を抽出することができる。