2024年7月2日に、Metaが60秒以内にテキストから高品質な立体形状とテクスチャを備えた3Dアセットを生成できる「Meta 3D Gen」を発表しました。Metaは、3D Genを使うと従来の3〜10倍の速度で3Dアセットを生成できるとしています。

Meta 3D Gen | Research - AI at Meta

https://ai.meta.com/research/publications/meta-3d-gen/

Meta Unveils 3D Gen: AI that Creates Detailed 3D Assets in Under a Minute

https://www.maginative.com/article/meta-unveils-3d-gen-ai-that-creates-detailed-3d-assets-in-under-a-minute/

Metaが3D Genで生成した3Dモデルがどんな感じかは、以下の動画を再生するとよくわかります。

Meta 3D Gen - YouTube

3D Genが生成した3Dモデルは、正面だけでなく側面や背面も高品質に仕上がっています。



特徴のひとつが、立体の造形と表面のテクスチャを両方とも生成できる点です。例えば、以下のメタリックなパグは「金属製パグ」というテキストプロンプトで生成したもの。



このロボットのプロンプトは「未来型ロボット」です。楽しげなダンスを踊っていますが、これはAdobe Mixamoで自動的に関節を作ってアニメーション化したものだとのこと。



テクスチャもプロンプトに忠実に生成できます。例えば、以下は「編みぐるみ」風にするように指示したもの。



そして、これは「ピクセルアート」。



「ホラー映画」を指定すると、動物や料理の3Dモデルが血まみれになります。



ムービーには収録されていませんが、Metaが公開している(PDFファイル)論文には「水中(中央左)」「スチームパンク(下段左)」「クリスマス(下段右)」なども掲載されています。



3D Genは2段階にわけて3Dモデルを作成します。最初の段階では、AssetGenでテキストプロンプトから物理ベースレンダリング(PBR)素材を使用して3Dメッシュが生成されます。2Dのコンセプトを3D構造に変換するという、難しいタスクがここで行われます。

Metaはこのプロセスを「AssetGenは、オブジェクトのシェーディングビュー(光源や陰影)とアルベドビュー(テクスチャの色彩)の両方を生成します。この二重のアプローチによって、我々のシステムはより正確に3D構造と材質を推測し、より高品質なアセットが得られるのです」と説明しました。

2番目の段階では、TextureGenによってAssetGenが作成したテクスチャが改良されます。これにより、ビュー空間(3Dモデリングにおけるカメラ視点)とUV空間(テクスチャの座標)の生成手法を組み合わせて、3Dモデルの一貫性を維持しつつプロンプトとテクスチャのすり合わせが行われます。

AI関連ニュースを扱う海外メディア・Maginativeは「スピードとクオリティを両立した3D Genにより、ゲーム開発者が環境やキャラクターのプロトタイプを簡単に作成できるようになるので、ゲーム開発プロセスが大幅にスピードアップします。また、建築会社はテキストでの説明から建物の詳細な3Dモデルを作り、設計プロセスを効率化できるでしょう。さらにVRやARの分野でも、没入型の環境やオブジェクトを簡単に作れるようになるので、メタバースの開発が加速するかもしれません」と評価しました。