話した言葉をなぞった場所に表示、聴覚障がい者や外国人の手助けに

三菱電機は9日、タブレットやスマートフォンなどで、話した言葉を、指でなぞった軌跡に表示できる音声認識技術「しゃべり描き UI(ユーザーインタフェース)」を開発した。お絵かきや翻訳といった機能を組み合わせたアプリとして、2016年度中に実証実験を行う予定。

今回開発した技術は、Androidスマートフォンやタブレットの画面上で、任意の場所を指で長押しし、話しながらなぞると、話した言葉がなぞった軌跡に合わせて文字表示されるもの。筆談と違い文字を書く手間が省けるほか、直感的に操作できることも特徴。

この「しゃべり描きUI」技術に、お絵描き機能や翻訳機能を組み合わせたアプリでは、手描きイラストに話し言葉を表示したり、表示した文字を同じ形状で翻訳したりすることで、わかりやすい意思疎通が可能となる。

聴覚障がい者は、健常者の指先と口の動きを同時に見られないため、指差ししながらの会話が理解できないという課題があったが、同アプリにより、聴覚障がいのある子どもが、絵を描きながら親と会話するといった利用が可能。またタクシーに載った外国人観光客が、地図や写真を提示しながら所要時間を尋ねるといった利用なども想定する。