【世界初】メタバース×生成AI ドコモがメタバース空間のキャラクター達を生成AIで次々に登場させる技術を開発
上が誰もいない、自分ひとりしか参加していない過疎化しているメタバース空間、下がキャラクターやメンバー達で賑わっているメタバース空間の例そこで、株式会社NTTドコモは、空間内の賑わいを創出し、群集心理の作用によりユーザを惹きつけるNPC(ノンプレイヤーキャラクター)で賑わっていることは、メタバースの実参加者を増やすのに有効だと考えた。NPCとは、いわゆるコンピュータが自動で動作を与えているキャラクターのことで、ゲームでは通りをウロウロしている村人や商人などがいるが、それらはコンピュータが作りだした人物であり、キャラクター。それをイメージするとわかりやすい。
ドコモは、それらNPCをメタバースの管理者がテキスト入力することで作り出すことができ、ある程度の行動や性格などを自動で与える生成AIを開発し、2024年1月17日と18日に東京国際フォーラムで開催した「docomo Open House’24」で「無人ガラガラメタバースに賑わいを 〜生成AIにより多様に振る舞うNPCを提供〜」ブースでデモを公開した。
●メタバース空間内の自動キャラクターを、テキスト入力のみで自動生成
従来はNPCを作るのにもキャラクターのデザイン製作やプログラミングにも時間とコストがかかっていた。今回ドコモが開発したシステムは、生成AIを用いることで誰でも簡単にスピーディーに、しかもキャラクターCG制作やプログラミングなどの知識も必要なく、メタバース空間内のNPC(ノンプレイヤーキャラクター)を、テキスト入力のみで自動生成する生成AIを世界で初めて開発した(2023年12月時点／同社調べ)。
同技術を利用することで、プログラミングやアルゴリズムなどの専門知識が無くても、外見や行動、空間内での役割を備えたNPCを20分程度で自動生成することが可能となる。
■【動画】【A-01】無人ガラガラメタバースに賑わいを 〜生成AIにより多様に振る舞うNPCを提供〜：
●同技術の開発概要
同技術は、「行動ロジック生成AI」、「アニメーション生成AI」(Human Motion Diffusion Model
を利用)、「外見生成AI」(Text2Mesh
を利用)の3つの生成AIで構成するもので、「行動ロジック生成AI」の開発、および3つの生成AIを自動連携する技術の開発は同社独自であり、世界初となる。
「行動ロジック生成AI」は、メタバース空間内のNPCの行動を規定する一意のビヘイビアツリーをテキスト入力のみで自動生成する技術だ。NPCの行動はビヘイビアツリーという手法を用いて規定されることが一般的で、ビヘイビアツリーの作成はこれまでプログラム開発者が要求仕様をコード記述を用いて制作するなど、ある程度の技術が必要であった。さらに、3つの生成AIを自動連携する技術の開発により、「行動ロジック生成AI」で生成したビヘイビアツリーと、「アニメーション生成AI」で生成したNPCの骨格データ、「外見生成AI」で生成したNPCの3Dモデルの3つを連携させ、テキスト入力のみでNPCを自動生成することが可能となる。
なお、この取り組みは、新しいアイデンティティ・コミュニティの形成をめざす「メタコミュニケーション構想」を基軸としており、将来的にはドコモが有するLLM付加価値基盤やパーソナルデータと連携も図っていく予定であり、パートナーとともに人々の生活がより豊かになる技術の価値検証を行う同社の「ライフスタイル共創ラボ」の取り組みの一環として、さまざまな産業分野で活用可能とする「イノベーション共創基盤」の開発も行っていくことになっている。
●開発内容について
今回の開発内容は、主に以下の2点となる。
●行動ロジック生成AI
行動ロジック生成AIは各ノードのパラメータをプロンプトに基づき生成し、それらノードを木構造化することでビヘイビアツリーを構築。ノードパラメータの生成には、Language Large Model(LLM)を活用している。LLMを用いたノードパラメータ生成に際して、以下の工夫をした。
工夫1．【LLMの出力対象を一つのノードのパラメータに限定】一度のLLMへの入出力によって、木構造全体を構成する各ノードのパラメータを生成する場合、LLMの表現能力に応じて、生成可能なビヘイビアツリーの規模に限界が生じる。その障壁を排除するため、LLMの出力対象を一つのノードに限定した。工夫2．【LLMの出力として、子プロンプトを追加】導入に際して、生成処理単位を各ノードに分割することで木構造を保ったノード生成の困難さが課題となる。これに対して、LLMに出力として子プロンプトを追加し、それを子ノードのパラメータ生成に利用することで解決した。これによって親ノード・子ノードの構造を保った生成、つまりビヘイビアツリー全体の生成が可能となった。 以上の工夫によって、LLMの表現能力に関わらず多種多様なNPCの行動ロジックの生成を実現させた。
●「行動ロジック生成AI」、「アニメーション生成AI」、「外見生成AI」の自動連携
3つの生成AIの連携は、「行動ロジック生成AIとアニメーション生成AIの連携」「アニメーション生成AIと外見生成AIの連携」、の2つの連携によって実現されている。
1.行動ロジック生成AIとアニメーション生成AIの連携：：
行動ロジック生成の過程でアニメーション生成に必要なプロンプトを生成することで、アニメーション生成のための個別プロンプトの入力を要求せず簡易かつスムーズな連携を実現。 2.アニメーション生成AIと外見生成AIの連携：：
外見生成AIから出力されたNPCの3Dモデルに対して、アニメーション生成AIの出力されるアニメーションに適合する骨格データを自動的に埋め込むツール(リギングツール)を開発し実現している。 
●今後の展開について
同社は同技術をさらに高度化し、2024年度中に株式会社NTTコノキューが提供する仮想空間プラットフォーム「DOOR」への実装をめざして取り組むとともに、ユーザーの生活が便利で豊かになる活用方法を探索し、地方創生や地域活性化に貢献する新しい技術やサービスの開発に向け取り組んでいくとのことだ。なお、同取り組みは、ドコモ開催の「docomo Open House’24」へ出展している。
ドコモ オープンハウス関連記事：
「5年後、認知機能に影響する脳の海馬はどれだけ萎縮する?」ドコモが将来の脳画像を予測する生成AIを開発 海馬の体積変化を可視化 【日本初】ドコモと慶應大学が力触覚をロボットに活用したデモを公開 5GとMECで力加減を適切に操作できる無線自律制御に成功 「人と味覚を共有する」ってどういうこと? ドコモの世界初「味覚共有」人間拡張基盤の体験レポート ドコモが最新の生成AI、味覚共有の人間拡張、力触覚を活用したロボットなど見どころ満載の最新技術を多数展示「ドコモ オープンハウス`24」開幕 【日本初】ドコモと慶應大学が力触覚をロボットに活用したデモを公開 5GとMECで力加減を適切に操作できる無線自律制御に成功 【世界初】ドコモら、エリアや時間を指定したネットワークスライシングの実証実験に成功 AWSで構成、5GCと5G SAの商用無線基地局を利用 ドコモが最新の「AI接客」のデモを公開 生成AIや行動分析AIなどを組合せてユーザ向けの高度なAI応対を体験 ドコモ「誰でも簡単にデジタル空間に分身が持てる」大規模言語モデル(LLM)、個人性を再現する対話技術、数分で音声合成できる「Another Me」のデモ公開 ドコモ オープンハウス`24 関連記事
