サイバーエージェントとNVIDIAがデジタルヒューマンの開発で協業 仮想世界での体験価値向上、新たなビジネス機会創出を目指す
協業ではNVIDIAが提供する「NVIDIA Omniverse」などを活用してデジタルヒューマンの研究開発を加速させるとともに、日本市場の固有ニーズに対応した3DCG技術の共同研究を行うことで、AIでクリエイティブの新たなステージを切り拓き、ビジネス機会の創出を目指す。
■NVIDIA Omniverse Audio2FaceでAIを活用したフェイシャルアニメーションのデモ：
●協業における重要テーマ
昨今、3DCG技術は映画やゲームなどのエンターテインメント領域における活用にとどまらず、人間の分身として人間本来の活動に加え、時空を超えた新しい表現を可能にするデジタルヒューマンや仮想世界における活用が進むなど、世界的に注目を浴びている。
このような背景のもと開始した、協業における重要テーマは以下のとおり。
●「NVIDIA Omniverse」を活用したデジタルヒューマン事業開発
デジタルヒューマンにおける開発では精密でフォトリアリスティックな3DCGモデルの制作だけでなく、人間の精細な感情の表現も重要なため、最先端の機械学習手法を取り入れた高度な映像表現を実現することが重要。特に顔や体を高精細に表現するCG技術、発話映像と音声を同期するリップシンク技術、そして、パーソナライズする上で膨大なパターンのコンテンツ生成が必要とされている。
サイバーエージェントは著名人のデジタルツインをキャスティングする「デジタルツインレーベル」事業において、「Omniverse」および「Omniverse Audio2Face」を活用することで、実在する著名人のデジタルアバターのクリエイティブ制作やより自然な発話を実現し、多種多様な広告の生成を目指す。
デジタルヒューマン制作過程イメージ(制作したデジタルヒューマンの表情を動かす工程において、「NVIDIA Omniverse Audio2Face」を活用し、音声ソースからフェイシャルアニメーションを自動生成する)
●「Omniverse Audio2Face」の日本語対応における共同研究
「Omniverse Audio2Face」を日本語の自然言語処理や音声合成と結び付けるため、両社は今後、日本語対応の共同研究についても視野に入れている。サイバーエージェントは日本語話者の再現研究を行っており、そのスクリプトをもとにした日本語の学習データは「Omniverse Audio2Face」を日本語に対応させるためのAIモデルのトレーニングに活用できる。日本語の形態素解析や感情分析をもとに「Omniverse Audio2Face」を日本語対応させることで、デジタルヒューマンの日本語発話の精度向上を目指すとともに、さらなる高度なデジタルヒューマンの実現への道筋となることが期待されている。
●高品質なデジタルヒューマン開発に向けたAI開発環境の構築
高品質なデジタルヒューマンの開発を加速し、様々な領域における高度なAI開発を推進するためには、十分なパフォーマンスを提供することができるエンタープライズ規模のコンピューティングインフラストラクチャが必須。サイバーエージェントとNVIDIAは「NVIDIA Omniverse Enterprise」の活用をはじめ、最高クラスのインフラストラクチャと高速かつスケーラブルなパフォーマンスを提供することができるAI開発環境の構築においても協業していく。
●各社のコメント
株式会社サイバーエージェント 常務執行役員 内藤 貴仁 氏：
GPUの発明をはじめAI領域における先駆的な取り組みをされてきたNVIDIA様と共に、3DCG市場を開拓できることを嬉しく思います。これまでにはない先進技術の導入や新たな試みを通じて、デジタルヒューマンの研究・社会実装が加速することを楽しみにしております。新たなビジネス機会の創出を目指すとともに、デジタルヒューマンの日本語発話の精度向上など日本市場ならではの研究にも取り組んでまいりますので、NVIDIA様との今後の取り組みに是非ご期待ください。
エヌビディア 日本代表 兼 米国本社副社長 大崎真孝 氏：
サイバーエージェント様と3DCG市場の拡大に向けて、協力体制を築けることを大変心強く思います。サイバーエージェント様の戦略の中核となるAIによるコンテンツ生成においてNVIDIA Omniverse 、ならびにNVIDIAのAIコンピューティング プラットフォームが、これら事業に貢献できるよう協力体制を強化することとなりました。広告コンテンツの多様化、また仮想世界という媒体の活性化が進む中、両社の協業が、3DCGにおける表現の高度化、日本市場にあったコンテンツ制作に寄与し、ユーザーに新たな価値を提供ができることを期待しております。
●サイバーエージェントについて
サイバーエージェントはこれまでAI研究開発組織「AI Lab」および「デジタルヒューマン研究センター」においてディープラーニングを用いた3DCGモデル生成の研究を行うほか、フォトグラメトリー技術やCG制作を強みとする「株式会社 CyberHuman Productions」を設立するなど、3DCG技術の研究開発および社会実装を積極的に行ってきた。また、2022年2月にはサイバーエージェントが培ってきたAIや3DCG技術、小売企業のDX支援実績を活かし、仮想世界における企業の販促活動を支援するバーチャル店舗開発に特化した「株式会社 CyberMetaverse Productions」を設立するなど、仮想世界でのサービス展開にも力を入れている。
●NVIDIAについて
NVIDIAは3Dデジタルコンテンツ制作におけるリアルタイムコラボレーションおよびデジタルツインのシミュレーションのためのプラットフォームであるNVIDIA Omniverseを提供している。プロジェクトチームは場所を選ばずに同じ3Dモデルでコラボレーションしながら、生産性を最大化し、コミュニケーションを強化することで、イノベーションを促進することができる。Omniverseは高度でフォトリアリスティックなシーンの迅速な制作を可能にし、AIを活用して音声ソースだけで豊かな表情の顔のアニメーションを自動で生成することができ、さらに複雑で物理的に正確なリアルタイムシミュレーションの構築なども支援する。
「NVIDIA AI DAYS 2022」関連記事：
「BMWのデジタルツイン工場」の衝撃 それはどのようにして作られたか NVIDIA AI DAYSでASKが解説 5Gモバイル通信のリモートでアニメCGの制作実験に成功 エヴァ制作のスタジオカラーとNTTドコモ等がMEC環境で挑戦 「NVIDIA AI DAYS 2022」関連記事
