富士通研究所、3次元画像とARで遠隔現場の作業支援を可能にする技術を開発

富士通研究所は3月17日、作業者側のカメラで撮影した時系列画像から、作業現場の全景がわかる3次元パノラマ合成画面を生成し、AR技術と組み合わせることで、遠隔支援者が的確に指示可能な作業支援技術を開発したと発表した。

近年、熟練作業者の不足に伴い、経験不足の現場作業者に対して熟練者が遠隔で作業支援を行う技術が注目されている。しかし、作業者側のカメラ画像を使った遠隔支援技術は、一般的に映る範囲が狭くブレもあるため、遠隔支援者が現場の状況を掴みづらいという課題があった。

そこで同社は今回、作業者側のカメラ画像を使って立体的なパノラマ画像を生成する画像の3次元合成技術と、遠隔地から現場に直接指示可能なユーザーインターフェースと作業指示のAR提示技術を開発した。

画像の3次元合成技術では、現場のカメラ画像から複数の画像特徴点を抽出することでカメラの位置と向きをリアルタイムに追跡し、作業員の位置と向きを継続的に推定。この結果からブレのない映像を選択し、3次元の位置および向きの情報と一緒に遠隔支援者へ送信する。遠隔支援者側では、カメラのパラメーターとなる焦点距離および画像の中心にあわせて3次元空間上に画像がリアルタイムに配置され、カメラと環境特徴点との距離も加味して画像のサイズが調整される。