Google DeepMindが自然言語で場所の案内などオフィス内のタスクをこなすデモムービーを公開
![](https://image.news.livedoor.com/newsimage/stf/b/3/b34e1_88_b17d8112ffed6fb80b229f6deece688c.png)
Gemini 1.5の最大100万トークンという長いコンテキストウィンドウを活用することで、オフィス内のタスクを自然言語で解決できるようになったとGoogle DeepMindが論文にまとめ、デモムービーを公開しました。
[2407.07775v1] Mobility VLA: Multimodal Instruction Navigation with Long-Context VLMs and Topological Graphs
![](https://image.news.livedoor.com/newsimage/stf/4/a/4a6a7_88_d444f6aa28757df104088d182ff9ee15.png)
コンテキストウィンドウが大きいAIモデルは一度に多くの情報を扱うことが可能です。今回、DeepMindはオフィスや自宅を案内するムービーを撮影してAIに視聴させ、「どこに何があるのか」という環境についての情報を学習させました。
ユーザーが自然言語でAIに指示することで、AIがムービーの情報とカメラからの入力を元にユーザーを目的地に案内させることに成功したとのこと。以下は実際に「何かを描ける場所を教えて」というタスクをこなすデモムービーです。
この投稿をInstagramで見る Google DeepMind(@googledeepmind)がシェアした投稿
AIを搭載したロボットに「何かを描ける場所を教えて」と音声で入力すると、ロボットが「Geminiで考えます。しばらくお待ちください」と返答。
![](https://image.news.livedoor.com/newsimage/stf/b/4/b4f84_88_268b66f1a1b2da8c93b264c83275f748.png)
しばらくしてロボットがゆっくりと動き始めました。
![](https://image.news.livedoor.com/newsimage/stf/3/8/38c47_88_c5b32fccb53c4f0f8154736c3aa7d60b.png)
無事ユーザーをホワイトボードの前に案内することに成功。
![](https://image.news.livedoor.com/newsimage/stf/c/3/c3e65_88_f099b59821265176fadd5bc411c2d95a.png)
モデルの概要はこんな感じ。その他にこなせるタスクの例として、物を持った状態で「これはどこに返却すれば良いですか?」という質問や、スマートフォンを見せつつ「どこで充電できますか?」という質問が掲載されています。
![](https://image.news.livedoor.com/newsimage/stf/9/7/973ba_88_3d84b639e30060348fc731dc5845e785.png)
研究チームは「大規模な現実世界の環境における複雑な推論とマルチモーダルなユーザー指示を伴う、これまでは実行不可能だったナビゲーションタスクで、エンドツーエンドで最大90パーセントの成功率を達成した」と結果が大成功だったことをアピールしました。