ニューラルネットワークを使って2次元のデータを3次元のイメージを生成する技術はニューラルレンダリングと呼ばれ、近年はまるで実写のように見える高精度な3Dアバターの作成で大きな進歩を遂げています。しかし、依然として全身の3Dアバターに微妙な表情の変化などを組み込むことはうまくいっていないとのこと。そこで香港科技大学などの研究チームが、豊かな表情を持つ実写そっくりな3Dアバターを作る「Detailed Expressions on Full-Body Gaussian Avatars(DEGAS：全身ガウス型アバターの詳細表現)」という新たなモデリング手法を開発しました。

[2408.10588] DEGAS: Detailed Expressions on Full-Body Gaussian Avatars

https://arxiv.org/abs/2408.10588



Projectpage of DEGAS (Detailed Expressions on Full-body Gaussian Avatars)

https://initialneil.github.io/DEGAS

DEGASはニューラルレンダリングの手法の1つである「3Dガウススプリッティング(3D Gaussian Splatting：3DGS)」をベースにしたモデリング手法です。3DGSは数百万個のガウス分布を重ね合わせて3D映像を表現する手法で、初にガウス分布の初期状態を適当に設定し、実際の画像に一致するようにそれぞれのガウス分布を調整することで精度を高めています。

研究チームはDEGASを開発するにあたり、高精度な頭部3Dアバターで一般的に使われる3Dモーファブルモデルの代わりに、2Dの顔画像のみでトレーニングした表情潜在空間を採用しました。これにより、2Dの表情と3Dアバター間のギャップを埋めて、3DGSのレンダリング能力と表現潜在空間の豊かな表現力を活かし、繊細かつ正確な表情を持つ写実的なレンダリング映像を再現できるとのこと。



左上の人物の動きや表情、発話に合わせて残り5人分のアバターが動きます。





また、SadTalkerというオープンソースソフトウェアを使用することで、音声データから表情を再現することも可能です。



研究チームは、「本論文では、2次元の会話時の顔のみで事前学習された表情潜在空間が、3次元アバターの再現に適した選択であり、インタラクティブな写実的なエージェントの新たな可能性を開くことを議論します。DEGASでモデル化されたアバターは、自然な体の動きと豊かな表情を再現するため、リアルタイムのフレームレートでアニメーションとレンダリングが可能です」と述べました。