富士通研、PCやタブレットの単眼カメラで3次元ジェスチャーを認識する技術

富士通研究所と富士通研究開発中心有限公司は20日、PCやタブレットに搭載された1台(単眼)のカメラで撮影した映像から上下と左右の2次元だけでなく、奥行き方向も加えた、3次元での手の動きを検知する3次元ハンドジェスチャー認識技術を開発した。今後、ユーザー評価を行うとともに手の検出・認識技術の高精度化を進め、2014年度中の実用化を目指すとしている。

従来のハンドジェスチャー認識技術では、マウスのカーソル移動に相当する上下と左右の動きは検知できたが、クリックに相当する手を前に押し出す動きの検知は困難だった。

富士通研究所では新たに2つの技術を開発。1つ目は「手のひらモデルに基づく手の領域検出技術」で、撮影した画像をあるブロックサイズごとに切り出して、その中にあらかじめ登録した手の特徴データが存在するかを検出する。

この操作をブロックの位置とサイズを変えながら画像全体に対して試行することで、手の位置とサイズを特定する。その後、特定した手の位置とサイズにおいて、最も手の形を表現するように色のしきい値を変えて手の領域を検出する。これにより風景などの背景と手のひらの色合いが近いときでも、検出の精度を高めることができる。

2つ目は、「手の大きさの変化に基づく奥行き検知技術」で、時間に応じて変化する手の大きさや角度、中心の位置を手の動きの連続性を用いて推定し、「押す」「引く」といった動作を90%の精度で検知する。

開発した技術を用いることで、端末上のメニュー選択を上下左右の手振りで行い、決定を「押す」操作で行う、あるいは地図などの拡大縮小を「押す」「引く」で実現するなど、複雑な操作をハンドジェスチャーで行うことが可能となる。また、1台のカメラで検出が可能なので、コストを抑えることができるという。