H2L、BodySharing技術を活用した「RaraaS」による遠隔農業ロボットサービス体験会を実施 農福連携を目指す
H2L株式会社は2023年8月22日、同社が展開している「RaraaS(Remote Agricultural Robot as a Service、遠隔農業ロボットサービス)」のメディア体験会を開いた。
「RaraaS(ララース)」とは、H2Lが独自開発中の、ロボットを含む他者と様々な感覚を相互共有する技術「BodySharing」を使って、遠隔地のロボットを操作し、農業に参加できるようにするサービスのこと。H2LではRaraaS事業の拡大に向けて、7月10日から9月8日まで、茨城県常陸大宮市での農福連携の取り組みについて、「READYFOR」でクラウドファンディングを実施している。(常陸大宮市から、BodySharing技術で農福連携の輪を!
)
H2Lが開発した「FirstVR」というデバイスを腕につけてロボットを遠隔操作
●固有感覚を共有する「BodySharing」
H2L株式会社 広報営業課 藤田昌暉氏
まず、H2L株式会社の広報営業課 藤田昌輝氏が、H2L社について紹介した。H2L
は、体験共有を目的とする感覚共有システム「BodySharing」の研究事業を行う会社として2012年7月に創業。「H2L」とはHappy Hacking Lifeを意味し、「デジタルで体験を分かち合う」ことをビジョンとしている。
体験共有は昔から色々なメディアを通して行われてきたが、今でも視覚と聴覚がメインとなっている。だがそれは能動的で臨場感がある体験共有ではない。人間には五感以外にも様々な感覚がある。
体験共有には視聴覚だけでは不十分
そこでH2Lでは「固有感覚(深部感覚)」に着目している。体の関節角度の感覚を示す位置感覚や重さを感じる重量感覚、運動感覚などのことだ。固有感覚を伝えることで、没入感のある能動的かつ臨場感がある「BodySharing」が可能になるという。
H2Lがフォーカスする固有感覚
H2Lでは同社が開発したデバイス「FirstVR」を巻いた人が手を動かすことで ロボットがその動きをトレースするシステム等を開発している。実際に「BodySharing」を使うことで、従来の操作と振動だけを使うシステムに比べると、身体所有感が36.0〜53.5%向上することが示されているという。
固有感覚を使うことで身体所有感が36.0〜53.5%も向上
BodySharingの構想はH2L創業前の2000年から。藤田氏は研究とビジネスのあいだの距離を示す「Technology Readiness Level(TRL)」という指標を使って当時から現在までの発展を解説した。2000年当時は原理的に可能であることが示されていただけで市場もなかった。
研究からビジネスにつなげるTechnology Readiness Level(TRL)
その後、赤外線を使って光学的に筋肉の変位(膨らみ)を検知するセンサー、取得した値を手指の動きに分類するためのAI、電気刺激を使った擬似触感、人の指を外から動かす技術などを開発していった。
筋変位センサーは腕に巻いて用いるデバイス。赤外線を使って筋肉の変化量を測定し、データ学習機に取り込んで、どういう状態なのかを推測することで、指先に加わっている力も検出できるという。たとえば「ゴルフのスウィング時」のプロとアマとの力の入れ具合の違いを詳細に見ることもできるので、スポーツ分野でも活用できるのではないかと考えて、実証実験を進めている。
プロとアマチュアの力加減の違いを見える化できる
またEMSを使って外から電気信号を送り、指を動かす研究も進めている。
固有感覚の出力して人の手指を外から動かすための技術開発も継続中
●センシング・刺激デバイス「UnlimitedHand」とセンシングのみに特化した「FirstVR」
研究開発用で入出力が可能な「UnlimitedHand」と筋変位センシングデバイス「FirstVR」
そのためのデバイスとして、2016年に研究開発用には入出力が可能な「UnlimitedHand」、そして産業導入用には2018年にインプットだけに機能を絞って安価にした「FirstVR」を開発。販売している。どちらもアマゾン等でも購入できる。
産業導入用デバイス「FirstVR」。Amazonで一万円程度で購入可能
FirstVRの内側。バンド部分に筋変位を計測する赤外線センサー
「UnlimitedHand」には電気刺激するためのEMSも
●BodySharingによる遠隔操作ロボットを使った「農福連携」
H2LではBodySharing技術を遠隔観光や動作教示のほか、遠隔農業分野にも活用できると考えており、今回のクラウドファンディング実施となった。農林水産省による、障害者が農業分野での活躍を通じて自信や生きがいを持って社会 参画を実現していく取組である「農福連携(農業と福祉の連携)
」の考え方に則り、将来は外出困難な方でも就農可能にする技術と位置づけている。
●オフィスワーカーの働き方改善にも活用
ワーカーの感覚の変化をメタバースに反映させる「BodySharing for Business」
またこの技術をメタバースにも展開。テレワーク中心のオフィスワークでのストレス軽減、コミュニケーション円滑化促進を目的とした技術「BodySharing for Business」としても提案している。FirstVRを足のふくらはぎに装着することで、緊張やリラックスの度合いを計測。メタバース上のアバターに反映させる。リラックス度の推定精度は95%程度とのこと。
リラックス度や元気度を推定してアバターに反映
管理画面ではチームのメンバーの状態を見える化することで、人員の最適配置による生産性の向上や、過重な負荷の分散などによる離職率の低下につなげることができる。H2L社内では実際に使われている。アバターを使ったサッカーゲームなどもでき、楽しみながら使っているとのこと。
「BodySharing for Business」管理画面
「BodySharing for Business」の実際の画面。サッカーでうまくシュートすると花火が上がるといったお遊び要素もある
●人生における体験量の大幅な増加を目指す
身体や時間・空間的制約にとらわれない物理的サービス実現を目指す
このようにH2Lでは、現状の「意図的なコミュニケーション」を「いつの間にか他者と通じ合えている」状態へ変えていきたいと考えており、他にもさまざまな分野へと自社技術を広げていこうとしているという。
そして固有感覚があるユーザーインターフェースが当たり前の世界にすることで、一人が3人分の体験ができる世界を実現したいと述べた。
一人で3人分の体験ができる世界の実現を目指す
●遠隔操作ロボットでの模擬収穫体験
デモをしてくれたH2L 研究開発部 中山雅野氏。RaraaS事業担当者
体験ではロボットを遠隔操作し、イチゴを模した実を取るというデモが行われた。ガイドしてくれたのは、H2L RaraaS事業担当者の中山雅野氏。ロボットの右腕を「FirstVR」をつけた右腕と、ジョイスティックを使って操作する。肘から先の動きはグリッパーの開閉や旋回も含めて操作者の動作で行う。前後の奥行き方向の動きはジョイスティックを用いる。
研究開発用に使っているロボットはアールティ社のROS対応研究用上半身人型ロボット「Sciurus17」に独自グリッパをつけたもの
「FirstVR」によってジェスチャー認識自体は可能なので、最初は「親指を立てているときは奥行き操作」といった操作方法も考えたが「直感的ではない」と判断し、今は取り入れてない。奥行き操作方法はより良い方法も検討中とのことだ。
まず「FirstVR」を装着する。「FirstVR」はバンド内側にある14チャンネルの赤外線センサで屈筋伸筋の動きを取得する。赤外線を用いてるので、外光が入らないようにキツめに巻くことがコツだ。
まずは「FirstVR」を装着
そして、チュートリアル画面を見ながら、まずは手を開いているのか閉じているのかを検出させるために、手でグーを作った状態で肘を曲げて回したり、同じく肘を伸ばして回したり、さらに手を開いた状態で同じように2種類の回し方をする。
「FirstVR」をキャリブレーションする
キャリブレーションが無事に終わると、グーを作っているのかパーを作っているのかを正しく認識できるようになる。「FirstVR」には赤外線の筋変位センサのほか、加速度、ジャイロ、磁気の9軸IMUが搭載されており、内部でクォータニオン(四元数))を計算して出力、そのままロボットの姿勢に反映させることができる。
キャリブレーションが終了すると、グーパーが正しく認識できるようになる
なお、人によっては筋肉量が少なく変位量が検出できない人もいるので、キーボードでもある程度の操作はできるようになっている。またスマホからもゲームのように操作することは可能だ。
キャリブレーションが終わったら、CG画面で操作方法を練習する。画面はロボット正面からの映像のほか、横方向からの映像を模擬した画面が子画面として提示されている。二つの画面を見ながら、ロボットアームを自分の腕とジョイスティックで動かして、どのように動くのかを練習する。
まずは操作をCGで練習
*動画:
一通りチュートリアルが終了したら、いよいよロボットに接続する。基本的にはバーチャルで練習したのと同じで制御量も同じなのだが、通信遅れがあるため、ロボットが思った以上に大きく動いてしまいがちになる。そのため、極力意識して、ゆっくり動かすことが必要だ。
右の画面を見ながら奥にあるロボットを遠隔操作する
意外とちょっとした操作が難しい。実際にはVRやゲームには不慣れな方が操作することを考え合わせると、ロボットの動作制限など、もう少しシステムが介入して手助けしてくれたほうが良いかもしれないと感じた。その辺りは今後の改善を待ちたい。
*動画:
*動画:
●人と人とを繋ぐ技術で社会課題に取り組む
スマホアプリからもロボット操作は可能
ロボットはスマホアプリからもアクセスして遠隔操作できる。動作の効率だけを考えると実際には、FirstVRを使って操作するよりも、スマホのタッチ画面だけで操作するほうが早そうだ。特にゲーム慣れした世代なら尚更だろう。だが「RaraaS」では様々な理由で外出困難な人による観光農園でのいちご狩り体験の実現を目的としており、「あたかも自分が遠隔地の農園に行ったかのような直感的な操作を目的として開発している」という。インターフェースは「ユーザーに合わせて選んでもらうと、人に合った体験ができるのではないか」とのこと。
プロトタイプに人型ロボットを使っている理由も同じで、頭に近い位置のカメラからの映像を見ながら、ヒューマノイドの腕を操作することで「自分で操作している」という感覚につなげることを優先している。
「自分で操作している感」を重視してヒューマノイドを使っている
なお、クラウドファンディングの返礼品には「志村大宮病院患者さんに遠隔観光農園体験をプレゼント」というものもある。体験者は志村大宮病院からオンラインで参加し、茨城県常陸大宮市の「つづく農園」でロボットを遠隔操作した作物収穫を行う。
中山氏は「『BodySharing』は距離を超えて人と人とを繋ぐことができる技術。RaraaSも『社会課題を解決していこう』ということで始まったプロジェクト」と語った。
クラウドファンディングでは病院に入院している患者さんがロボットを遠隔操作予定
「RaraaS(ララース)」とは、H2Lが独自開発中の、ロボットを含む他者と様々な感覚を相互共有する技術「BodySharing」を使って、遠隔地のロボットを操作し、農業に参加できるようにするサービスのこと。H2LではRaraaS事業の拡大に向けて、7月10日から9月8日まで、茨城県常陸大宮市での農福連携の取り組みについて、「READYFOR」でクラウドファンディングを実施している。(常陸大宮市から、BodySharing技術で農福連携の輪を!
)
H2Lが開発した「FirstVR」というデバイスを腕につけてロボットを遠隔操作
●固有感覚を共有する「BodySharing」
H2L株式会社 広報営業課 藤田昌暉氏
まず、H2L株式会社の広報営業課 藤田昌輝氏が、H2L社について紹介した。H2L
は、体験共有を目的とする感覚共有システム「BodySharing」の研究事業を行う会社として2012年7月に創業。「H2L」とはHappy Hacking Lifeを意味し、「デジタルで体験を分かち合う」ことをビジョンとしている。
体験共有は昔から色々なメディアを通して行われてきたが、今でも視覚と聴覚がメインとなっている。だがそれは能動的で臨場感がある体験共有ではない。人間には五感以外にも様々な感覚がある。
体験共有には視聴覚だけでは不十分
そこでH2Lでは「固有感覚(深部感覚)」に着目している。体の関節角度の感覚を示す位置感覚や重さを感じる重量感覚、運動感覚などのことだ。固有感覚を伝えることで、没入感のある能動的かつ臨場感がある「BodySharing」が可能になるという。
H2Lがフォーカスする固有感覚
H2Lでは同社が開発したデバイス「FirstVR」を巻いた人が手を動かすことで ロボットがその動きをトレースするシステム等を開発している。実際に「BodySharing」を使うことで、従来の操作と振動だけを使うシステムに比べると、身体所有感が36.0〜53.5%向上することが示されているという。
固有感覚を使うことで身体所有感が36.0〜53.5%も向上
BodySharingの構想はH2L創業前の2000年から。藤田氏は研究とビジネスのあいだの距離を示す「Technology Readiness Level(TRL)」という指標を使って当時から現在までの発展を解説した。2000年当時は原理的に可能であることが示されていただけで市場もなかった。
研究からビジネスにつなげるTechnology Readiness Level(TRL)
その後、赤外線を使って光学的に筋肉の変位(膨らみ)を検知するセンサー、取得した値を手指の動きに分類するためのAI、電気刺激を使った擬似触感、人の指を外から動かす技術などを開発していった。
筋変位センサーは腕に巻いて用いるデバイス。赤外線を使って筋肉の変化量を測定し、データ学習機に取り込んで、どういう状態なのかを推測することで、指先に加わっている力も検出できるという。たとえば「ゴルフのスウィング時」のプロとアマとの力の入れ具合の違いを詳細に見ることもできるので、スポーツ分野でも活用できるのではないかと考えて、実証実験を進めている。
プロとアマチュアの力加減の違いを見える化できる
またEMSを使って外から電気信号を送り、指を動かす研究も進めている。
固有感覚の出力して人の手指を外から動かすための技術開発も継続中
●センシング・刺激デバイス「UnlimitedHand」とセンシングのみに特化した「FirstVR」
研究開発用で入出力が可能な「UnlimitedHand」と筋変位センシングデバイス「FirstVR」
そのためのデバイスとして、2016年に研究開発用には入出力が可能な「UnlimitedHand」、そして産業導入用には2018年にインプットだけに機能を絞って安価にした「FirstVR」を開発。販売している。どちらもアマゾン等でも購入できる。
産業導入用デバイス「FirstVR」。Amazonで一万円程度で購入可能
FirstVRの内側。バンド部分に筋変位を計測する赤外線センサー
「UnlimitedHand」には電気刺激するためのEMSも
●BodySharingによる遠隔操作ロボットを使った「農福連携」
H2LではBodySharing技術を遠隔観光や動作教示のほか、遠隔農業分野にも活用できると考えており、今回のクラウドファンディング実施となった。農林水産省による、障害者が農業分野での活躍を通じて自信や生きがいを持って社会 参画を実現していく取組である「農福連携(農業と福祉の連携)
」の考え方に則り、将来は外出困難な方でも就農可能にする技術と位置づけている。
●オフィスワーカーの働き方改善にも活用
ワーカーの感覚の変化をメタバースに反映させる「BodySharing for Business」
またこの技術をメタバースにも展開。テレワーク中心のオフィスワークでのストレス軽減、コミュニケーション円滑化促進を目的とした技術「BodySharing for Business」としても提案している。FirstVRを足のふくらはぎに装着することで、緊張やリラックスの度合いを計測。メタバース上のアバターに反映させる。リラックス度の推定精度は95%程度とのこと。
リラックス度や元気度を推定してアバターに反映
管理画面ではチームのメンバーの状態を見える化することで、人員の最適配置による生産性の向上や、過重な負荷の分散などによる離職率の低下につなげることができる。H2L社内では実際に使われている。アバターを使ったサッカーゲームなどもでき、楽しみながら使っているとのこと。
「BodySharing for Business」管理画面
「BodySharing for Business」の実際の画面。サッカーでうまくシュートすると花火が上がるといったお遊び要素もある
●人生における体験量の大幅な増加を目指す
身体や時間・空間的制約にとらわれない物理的サービス実現を目指す
このようにH2Lでは、現状の「意図的なコミュニケーション」を「いつの間にか他者と通じ合えている」状態へ変えていきたいと考えており、他にもさまざまな分野へと自社技術を広げていこうとしているという。
そして固有感覚があるユーザーインターフェースが当たり前の世界にすることで、一人が3人分の体験ができる世界を実現したいと述べた。
一人で3人分の体験ができる世界の実現を目指す
●遠隔操作ロボットでの模擬収穫体験
デモをしてくれたH2L 研究開発部 中山雅野氏。RaraaS事業担当者
体験ではロボットを遠隔操作し、イチゴを模した実を取るというデモが行われた。ガイドしてくれたのは、H2L RaraaS事業担当者の中山雅野氏。ロボットの右腕を「FirstVR」をつけた右腕と、ジョイスティックを使って操作する。肘から先の動きはグリッパーの開閉や旋回も含めて操作者の動作で行う。前後の奥行き方向の動きはジョイスティックを用いる。
研究開発用に使っているロボットはアールティ社のROS対応研究用上半身人型ロボット「Sciurus17」に独自グリッパをつけたもの
「FirstVR」によってジェスチャー認識自体は可能なので、最初は「親指を立てているときは奥行き操作」といった操作方法も考えたが「直感的ではない」と判断し、今は取り入れてない。奥行き操作方法はより良い方法も検討中とのことだ。
まず「FirstVR」を装着する。「FirstVR」はバンド内側にある14チャンネルの赤外線センサで屈筋伸筋の動きを取得する。赤外線を用いてるので、外光が入らないようにキツめに巻くことがコツだ。
まずは「FirstVR」を装着
そして、チュートリアル画面を見ながら、まずは手を開いているのか閉じているのかを検出させるために、手でグーを作った状態で肘を曲げて回したり、同じく肘を伸ばして回したり、さらに手を開いた状態で同じように2種類の回し方をする。
「FirstVR」をキャリブレーションする
キャリブレーションが無事に終わると、グーを作っているのかパーを作っているのかを正しく認識できるようになる。「FirstVR」には赤外線の筋変位センサのほか、加速度、ジャイロ、磁気の9軸IMUが搭載されており、内部でクォータニオン(四元数))を計算して出力、そのままロボットの姿勢に反映させることができる。
キャリブレーションが終了すると、グーパーが正しく認識できるようになる
なお、人によっては筋肉量が少なく変位量が検出できない人もいるので、キーボードでもある程度の操作はできるようになっている。またスマホからもゲームのように操作することは可能だ。
キャリブレーションが終わったら、CG画面で操作方法を練習する。画面はロボット正面からの映像のほか、横方向からの映像を模擬した画面が子画面として提示されている。二つの画面を見ながら、ロボットアームを自分の腕とジョイスティックで動かして、どのように動くのかを練習する。
まずは操作をCGで練習
*動画:
一通りチュートリアルが終了したら、いよいよロボットに接続する。基本的にはバーチャルで練習したのと同じで制御量も同じなのだが、通信遅れがあるため、ロボットが思った以上に大きく動いてしまいがちになる。そのため、極力意識して、ゆっくり動かすことが必要だ。
右の画面を見ながら奥にあるロボットを遠隔操作する
意外とちょっとした操作が難しい。実際にはVRやゲームには不慣れな方が操作することを考え合わせると、ロボットの動作制限など、もう少しシステムが介入して手助けしてくれたほうが良いかもしれないと感じた。その辺りは今後の改善を待ちたい。
*動画:
*動画:
●人と人とを繋ぐ技術で社会課題に取り組む
スマホアプリからもロボット操作は可能
ロボットはスマホアプリからもアクセスして遠隔操作できる。動作の効率だけを考えると実際には、FirstVRを使って操作するよりも、スマホのタッチ画面だけで操作するほうが早そうだ。特にゲーム慣れした世代なら尚更だろう。だが「RaraaS」では様々な理由で外出困難な人による観光農園でのいちご狩り体験の実現を目的としており、「あたかも自分が遠隔地の農園に行ったかのような直感的な操作を目的として開発している」という。インターフェースは「ユーザーに合わせて選んでもらうと、人に合った体験ができるのではないか」とのこと。
プロトタイプに人型ロボットを使っている理由も同じで、頭に近い位置のカメラからの映像を見ながら、ヒューマノイドの腕を操作することで「自分で操作している」という感覚につなげることを優先している。
「自分で操作している感」を重視してヒューマノイドを使っている
なお、クラウドファンディングの返礼品には「志村大宮病院患者さんに遠隔観光農園体験をプレゼント」というものもある。体験者は志村大宮病院からオンラインで参加し、茨城県常陸大宮市の「つづく農園」でロボットを遠隔操作した作物収穫を行う。
中山氏は「『BodySharing』は距離を超えて人と人とを繋ぐことができる技術。RaraaSも『社会課題を解決していこう』ということで始まったプロジェクト」と語った。
クラウドファンディングでは病院に入院している患者さんがロボットを遠隔操作予定