人の手の動きとぬくもりを感じられる『ロボットハンド』 ソニーの若手が「リアルな繋がりの大切さ」に挑む 「BOOSTER」で公開
そんな思いが込められたプロジェクトがクラウドファンディングサイト「BOOSTER」で公開された。
同プロジェクトでは多彩な開発経験を持つソニーグループの若手メンバーが集まり、コロナ禍で感じた「リアルな繋がりの大切さ」をテクノロジーを駆使して手助けできないか、という思いで活動している。コロナ禍でオンラインのリモート会話システムが普及し、気軽にコミュニケーションできるようになった。しかし、従来のリモートシステムは映像と声が主なコミュニケーションで相手の実在感を感じるには課題があると感じた。そこでロボットハンドでリアルなふれあいを作ることで、画面の向こう側の世界を感じる体験をつくりたいと考え、構想から約1年間かけ、ロボットハンドを搭載したコミュニケーションシステムを開発してきた。
そして今回、開発したロボットハンドを使ってバーチャル握手会イベントを開催し、オンラインでもリアルな繋がりを感じられる体験をお届けしたい！と考えている。「BOOSTER」で得た資金は2022年3月に開催予定のバーチャル握手会の会場費用および運営費用に当てられる。
ロボットハンドの特徴は以下のようなもの。
●人の温かみ・温もりを感じられる『ロボットハンド』
約1年間かけて開発されたロボットハンドは人の手のような「形状」、「指の太さ・長さ」、「柔らかさ」、「温もり」にこだわって設計されている。また、「手首、肘、肩」といった「腕の関節」も再現。5本の指をリモートからリアルタイムに動かし、握手やじゃんけん、きゅんですポーズなど、手の動きを瞬時に再現する。操作する人に合わせて、握力を設定することも可能。
柔らかい感触を表現するために、固すぎず、柔らかすぎない肌の感触に似せた「ゲル」を製作。「層を厚くすると、手を大きく感じてしまう」、「層を薄くしすぎると、握った際に人間の骨にあたるロボットの骨格を感じる」といった課題を、感触や肉厚を調整して絶妙な感触を再現している。
(左図)プロトタイプ2号と3号 (右図)手のひらのヒートマップ(ロボットハンドの内部に血管のようなチューブを通すことで内側から温め、体温を作り出している。まるで「生き物に触れているかのような体温」を感じることができる。)
リアルタイムに動作するロボットハンド
このロボットハンドを使って、オンラインコミュニケーションをより楽しく、さらに進化したオンラインコンテンツを生み出すことを目指している。
●バーチャルな世界ともつながりを感じられる
オンラインコンテンツをさらに身近に感じられるように、時空を超えて「ドキッと」感を感じる工夫も取り入れている。オンラインでも好きなアーティストと目が合ってドキドキする感覚を感じることができるように「等身大のディスプレイ」を採用し、すぐ目の前で話している距離感を感じられるように、音響技術で口元から声がする体験を実現した。
また、自分の分身のような、デジタルヒューマンや、ヒューマノイドロボットへの展開も考えられるように、キャラクターアニメーションも開発している。
カメラキャプチャーベースのAI技術を利用することで、「人の表情の変化」や「人の感情」を推定して、笑ったり、驚いたりといった自然な表情変化を、そのままキャラクターに反映することができる。キャラクターのモデルデータさえあれば、シンプルなデバイス構成でキャラクターの顔、体、腕、手の変化をリアルタイムに反映でき、実在感を生かした演出が可能。
●バーチャル握手会の社内の反応
「実際体験してみていい意味で、大きく裏切られる感覚は非常に面白かったです！」
「柔らかい感触、あたたかいぬくもり感で、握り返された時の感触が完全に人でした」
「ほんとに人が近くにいるような感覚を感じた時にはどきっとしました」
社内で実際に体験会を実施したところ、アンケートで80%以上から最高評価を得て、オンラインコンテンツにリアルでふれあえることに対しての多くの反響があったという。
体験時の様子
【動画】バーチャル握手会の様子：
クラウドファンディングページでは「ロボットハンドと聞くと、どこか冷たい印象を持ってしまった」という方が、体験後に「ドキドキするぐらいの実在感があった」とコメントをくださったときは、この体験を早く世の中に届けたいと強く思いました。」と想いを伝えている。
