NVIDIA ヒューマノイド開発の加速を発表　人型ロボットの開発基盤や新サービスの名称とリンク集まとめ　NIM/OSMO/MimicGen NIM/Robocasa NIMほか

写真拡大

NVIDIA は7月30日、世界規模でのヒューマノイド開発を加速するために、次世代のヒューマノイド ロボティクスの開発、トレーニング、構築のための一連のサービス、モデル、コンピューティング プラットフォームを世界の大手ロボットメーカー、AIモデル開発者、ソフトウェアメーカー向けに提供することを発表した。
開発者は「Isaac Lab」および「Isaac Sim」でのロボティクス シミュレーション、OSMO ロボット･クラウド･コンピューティング･オーケストレーション･サービス、遠隔操作によるデータ･キャプチャ･ワークフローなどのための新しい「NVIDIA NIM」マイクロサービスにアクセス可能となる。
ロボットのシミュレーションと学習のための新しい「NVIDIA NIM」マイクロサービスとフレームワーク、マルチステージのロボティクス･ワークロードを実行するための「NVIDIA OSMO
」オーケストレーション サービス、開発者が少量の人間のデモンストレーション･データを使用してロボットをトレーニングできる AIとシミュレーション対応の遠隔操作ワークフローなどが提供される。
NVIDIA の創業者/CEO であるジェンスン フアン (Jensen Huang) 氏は次のように述べている。

Jensen Huang氏
「AIの次の波はロボティクスであり、最もエキサイティングな開発の1つはヒューマノイド･ロボットです。NVIDIA は、NVIDIA ロボティクス･スタック全体を進化させ、世界中のヒューマノイド開発者や企業がニーズに最適なプラットフォーム、アクセラレーション･ライブラリ、AI モデルを利用できるようにしています」
●「NVIDIA NIM」と「OSMO」による開発の加速
同社は「NIM」マイクロサービスによって、NVIDIA推論ソフトウェアを搭載した事前構築済みのコンテナーが提供され、開発者は展開に要する時間を数週間から数分に短縮できるとしている。これら2つの新しいAIマイクロサービスによって、ロボット開発者は「NVIDIA Omniverse
」プラットフォーム上に構築されたロボティクス･シミュレーションのリファレンス･アプリケーション「NVIDIA Isaac Sim
」で、「生成物理 AI
」のシミュレーション･ワークフローを強化できる。
「MimicGen NIM」は、Apple Vision Pro などの空間コンピューティング･デバイスから記録された遠隔操作データに基づいて合成モーション･データを生成する。「Robocasa NIM」は、OpenUSD
でロボットタスクとシミュレーション対応環境を生成。「OpenUSD」は、3Dワールド内での開発とコラボレーションのためのユニバーサル･フレームワーク。
提供が開始された「NVIDIA OSMO
」は、オンプレミスでもクラウドでも、分散コンピューティング･リソース全体で複雑なロボット開発ワークフローをオーケストレーションおよび拡張できるクラウド･ネイティブなマネージド サービスとなる。
「OSMO」はロボットのトレーニングとシミュレーションのワークフローを大幅に簡素化し、展開と開発のサイクルを数か月から1週間未満に短縮。ユーザーは、ヒューマノイド、自律移動ロボット、産業用マニピュレーターの合成データ
の生成、モデルのトレーニング、強化学習
の実施、大規模なソフトウェアインザループ (SIL) テストの実装など、さまざまなタスクを可視化して管理できる。
●ヒューマノイド ロボット開発者向けのデータ キャプチャ ワークフローの進化
ヒューマノイド ロボットの基盤モデルをトレーニングするには、膨大な量のデータが必要。人間のデモンストレーションデータをキャプチャする方法の1つは遠隔操作を使用すること。これはコストがかかり、時間のかかるプロセスになりつつあるとしている。
SIGGRAPHコンピュータ・グラフィックス・カンファレンスでデモされた「NVIDIA AI」および「Omniverse対応の遠隔操作リファレンス ワークフロー」により、研究者やAI開発者は、リモートでキャプチャされた最小限の人間のデモンストレーションから、大量の合成モーションおよび知覚データを生成できる。
まず、開発者は「Apple Vision Pro」を使用して、少数の遠隔操作デモンストレーションをキャプチャする。次に「NVIDIA Isaac Sim」で記録をシミュレーションし、「MimicGen NIM」を使用して記録から合成データセットを生成する。
開発者は、実際のデータと合成データを使用して「Project GR00T」（https://developer.nvidia.com/project-gr00t）ヒューマノイド基盤モデルをトレーニングし、開発者が時間を短縮してコストを削減することができるようにする。
次に、ロボット学習フレームワークである「Isaac Lab
」の「Robocasa NIM」を使用して、ロボットモデルを再学習するためのエクスペリエンスを生成する。ワークフロー全体を通じて「NVIDIA OSMO」はコンピューティングジョブをさまざまなリソースにシームレスに割り当てるため、開発者は数週間に及ぶ管理タスクを省くことができる。
汎用ロボットプラットフォーム企業のFourierは、シミュレーション･テクノロジーを使用して学習データを合成的に生成することの利点を次のように評価している。FourierのCEO Alex Gu氏
「ヒューマノイド ロボットの開発は極めて複雑で、現実世界から手間暇かけて収集した膨大な量の実際のデータが必要です。NVIDIA の新しいシミュレーションおよび生成 AI 開発者ツールは、モデル開発ワークフローの立ち上げと加速に役立ちます」
●NVIDIA ヒューマノイド開発者向けテクノロジーへのアクセスの拡大
NVIDIA は、ヒューマノイド･ロボティクスの開発を容易にするために、3つのコンピューティング･プラットフォームを提供。
ひとつはモデルをトレーニングするための NVIDIA AI スーパーコンピュータ、2つめがロボットがシミュレートされた世界でスキルを学習して磨くことができる「Omniverse」上に構築された「NVIDIA Isaac Sim」、そして3つめがモデルを実行するための 「NVIDIA Jetson Thor ヒューマノイド ロボット コンピュータ」。開発者は、特定のニーズに合わせて、プラットフォームのすべて (または一部) にアクセスして使用できる。
新しい NVIDIA Humanoid Robot Developer Program
を通じて、開発者は新しい製品や、NVIDIA Isaac Sim、NVIDIA Isaac Lab
汎用ヒューマノイド基盤モデルの最新リリースに早期アクセスできる。
このプログラムには、1x、Boston Dynamics、ByteDance Research、Field AI、Figure、Fourier、Galbot、LimX Dynamics、Mentee、Neura Robotics、RobotEra、Skild AI などが、早期アクセス プログラムに参加する企業として名を連ねている。
Boston Dynamics の最高技術責任者である Aaron Saunders 氏は次のように語った。Aaron Saunders 氏
「Boston Dynamics と NVIDIA は、ロボティクスの可能性の限界を押し広げるために、長年にわたって緊密に協力してきました。この取り組みの成果が業界全体を加速させていることを非常に嬉しく思っており、早期アクセス プログラムはクラス最高のテクノロジにアクセスする素晴らしい方法です」


●利用方法
開発者は、NVIDIA Humanoid Robot Developer Program
に参加すると、NVIDIA OSMO と Isaac Lab にアクセスができ、また、近日 NVIDIA NIM マイクロサービスにもアクセスできるようになる。
8月1日までデンバーで開催されるコンピュータ･グラフィックスのプレミアカンファレンス「SIGGRAPH」で ジェンスンフアン氏の対談を視聴
できる。また、生成 AI とアクセラレーテッド コンピューティングの最新情報についてさらに詳しい情報が提供されている。