バーチャル・リアリティ(VR)や拡張現実(AR)に関する技術は年々進歩しており、体の動きをトラッキングする精度や体に装着するデバイスの小型化・軽量化も進んでいます。近年では手でコントローラーを握って操作を行うのではなく、「指の動き」までトラッキングする技術も進歩しており、コーネル大学の研究チームは「FingerTrak」と呼ばれるリストバンド型デバイスを開発したと発表しました。

FingerTrak: Continuous 3D Hand Pose Tracking by Deep Learning Hand Silhouettes Captured by Miniature Thermal Cameras on Wrist: Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies: Vol 4, No 2

https://dl.acm.org/doi/abs/10.1145/3397306

Researchers develop 3D hand-sensing wristband | Cornell Chronicle

https://news.cornell.edu/stories/2020/07/researchers-develop-3d-hand-sensing-wristband

Researchers show FingerTrak, a hand tracking wristband for AR/VR input | VentureBeat

https://venturebeat.com/2020/07/20/researchers-show-fingertrak-a-hand-tracking-wristband-for-ar-vr-input/



VRゲームをプレイする際、トラッキング機能がついたスティック型のコントローラーを握るケースも多いですが、一般的なコントローラーではさまざまな日常動作に関連する指の動きをトラッキングすることは困難です。たとえばボールペンなどで文字を書いたり、マグカップを握ったり、スマートフォンを操作したりする動きは、コントローラーを握った状態ではトラッキングできません。

そこで、近年では指の動きまでトラッキングするデバイスの開発が相次いで進められており、ソニーが「指の動きを高精度でトラッキング可能な次世代VRゲームコントローラー」を発表したり、「手話をスマホ経由で音声に変換可能な手袋型デバイス」が研究者らによって開発されたりしています。

新たにコーネル大学の研究チームは、手袋や指にはめるリングを使わずに指の動きをトラッキングするリストバンド型デバイス「FingerTrak」を開発したとのこと。研究チームが開発したFingerTrakの形や仕組みは、以下のムービーを見るとわかります。

FingerTrak Continuous 3D Hand Pose Tracking by Deep Learning Hand Silhouettes - YouTube

指の動きを正確にトラッキングすることは、VRやARの進歩にとって重要で人気のあるトピックです。



すでに指の動きをトラッキングする手袋型のデバイスなども開発されていますが、かさばりや携帯性の悪さなどはVRやARへの没入感を妨げる可能性があります。



そこで研究チームが開発したのが、指の動きをトラッキングするリストバンド型デバイスの「FingerTrak」です。直径24.26mmの25セント硬貨と比較すると大きさはこんな感じ。手首側に4個のカメラが付いているのがわかります。



先端部には、物体の温度を検知する低解像度の赤外線カメラが搭載されています。カメラの長さは5.7mmで……



直径はわずか9.3mm。



FingerTrakは手の方に向けられた赤外線カメラで手や指の輪郭を3Dで追跡し、ディープニューラルネットワークを用いて輪郭から指や手首の関節の位置を推測するとのこと。



4個のカメラから得られる手の輪郭は非常にボンヤリとしたものですが、研究チームのCheng Zhang氏は「これは私たちのチームによる大きな発見でした。手首の輪郭を見ることで、テクノロジーは指先の動きを高精度に3Dで再構築できるのです」と述べています。



装着者が指を動かすと……



左下に表示された赤外線カメラの映像中で、オレンジ色や黄色で示されている範囲が変化します。この変化を基に、指先の動きをかなり高い精度で測定できるとのこと。研究チームによると、FingerTrakが検出した指の角度のエラー率は6.46度〜8.06度だったそうで、背景が均一であるほどエラー率は低くなったと研究チームは述べています。



FingerTrakを使うことで、ペンを持ってノートに何か記入する動きや……



マグカップを持つ動き



スマートフォンを手に持って操作する動きなどを識別することが可能。研究チームはFingerTrakが手話の翻訳技術に役立つと考えているほか、高齢者の手の動きをトラッキングすることでアルツハイマー病やパーキンソン病といった、指先の運動に障害が表れる病気の検出などに応用できるかもしれないと考えています。



プロトタイプのFingerTrakはRaspberry Piに有線接続していますが、もっと小さなスマートウォッチのようなコンピューターと接続して制御することもできるとのことです。