富士通研究所、3次元画像とARで遠隔現場の作業支援を可能にする技術を開発

富士通研究所は3月17日、作業者側のカメラで撮影した時系列画像から、作業現場の全景がわかる3次元パノラマ合成画面を生成し、AR技術と組み合わせることで、遠隔支援者が的確に指示可能な作業支援技術を開発したと発表した。

近年、熟練作業者の不足に伴い、経験不足の現場作業者に対して熟練者が遠隔で作業支援を行う技術が注目されている。しかし、作業者側のカメラ画像を使った遠隔支援技術は、一般的に映る範囲が狭くブレもあるため、遠隔支援者が現場の状況を掴みづらいという課題があった。

そこで同社は今回、作業者側のカメラ画像を使って立体的なパノラマ画像を生成する画像の3次元合成技術と、遠隔地から現場に直接指示可能なユーザーインターフェースと作業指示のAR提示技術を開発した。

画像の3次元合成技術では、現場のカメラ画像から複数の画像特徴点を抽出することでカメラの位置と向きをリアルタイムに追跡し、作業員の位置と向きを継続的に推定。この結果からブレのない映像を選択し、3次元の位置および向きの情報と一緒に遠隔支援者へ送信する。遠隔支援者側では、カメラのパラメーターとなる焦点距離および画像の中心にあわせて3次元空間上に画像がリアルタイムに配置され、カメラと環境特徴点との距離も加味して画像のサイズが調整される。

生成された3次元画像は、実際の作業現場の3次元空間構造が忠実に反映されており、複数のセンサー情報を加えて作業員の位置と向きを高精度に推定することで、作業員はパノラマ合成された画像の中に3次元モデルとして仮想的に描画される。これにより、遠隔支援者は自分の好きな視点から作業員の行動を把握できるうえ、3次元画像に対してポインターや注釈の形で指示を行うことが可能。この指示は、即座に作業員のスマートデバイスなどに伝達され、作業員の位置と向きにあわせたリアルタイムなAR情報として提示されるという。AR情報が作業員の視野外にある場合は、そこまで作業員を誘導することが可能となっている。

同社は、これらの技術を実際の設備点検やメンテナンス現場で検証し、2016年度中の実用化を目指すとしている。