mocopiが2Dアバター動かす、Live2Dで全身トラッキング。“いらすとやアバター”も

2024年10月29日 14時45分

mocopiでLive2Dアバターを動かしている様子

ソニーのモバイルモーションキャプチャ「mocopi」がLive2Dと連携。Live2Dが提供するトラッキングソフト「nizima LIVE」でmocopiのモーションデータが使用できるようになる。アップデート内容と合わせて、今回の連携について、mocopi事業室長のソニーモーション事業担当部長相見猛氏とLive2D代表取締役中城哲也氏に狙いを聞いた。

今回の連係は、nizima LIVEのアップデートにより対応するもので、mocopiアプリ側は従来通りの仕様となっている。nizima LIVEでは、Webカメラ等を使用して表情とハンドトラッキングまで対応していたが、mocopiのモーションデータを活用可能になり、腕の動作をカメラの画角内で行なわなくてもトラッキングできるようになる。

全身トラッキングに対応していないLive2Dアバターでの例

全身トラッキングに対応したLive2Dアバターの例

また、腰や脚などを含めた全身トラッキング対応のLive2D用アバターを制作することで、全身のトラッキングも行なえるようになる。全身トラッキング対応のサンプルモデルも配布されるため、モデリング時の参考などに利用できるとのこと。サンプルモデルとしていらすとやの素材を活用したモデルも用意される。

また、nizima LIVEの新規購入キャンペーンとして、年間プランを30％ OFFで購入できるクーポンを配布。クーポンコード「update20」を入力することで利用できる。対象プランは「nizima LIVE for Indie年間プラン」「nizima LIVE for Business年間プラン」。クーポンコードの有効期限は11月30日23時59分まで。

意図していなかったソニー傘下同士の連携。mocopi側からアクション

Live2D代表取締役中城哲也氏(左)、ソニーモーション事業担当部長相見猛氏(右)

きっかけは、ソニーミュージックエンタテインメントジャパンに所属している、相見氏と中城氏の共通の知人から話を聞いたことだという。そこで相見氏が、Live2Dが同じソニーグループ傘下であることを知り、話を持ちかけた。

相見氏(以下敬称略)：まず(連係の)背景としては、mocopiユーザーの大きなセグメントとしてVTuberがいます。mocopiは3Dのモーションデータを作成するツールのため、VRM方式のアバターや、VRChatなど基本的に3Dアバターを持っている人に利用されていました。

一方でVTuberには、2Dのキャラクターを使用して自身を表現している人の方が割合としても圧倒的に多いのが現状です。mocopiでは、アバターでの文化や表現などに対してサポートしつつ、ビジネスにしていくという目標を持ちながら、そういった2Dアバターを使用している層にそもそもリーチできていないソリューションとなっているところに課題を持っていました。

そこで、2Dアバターの最大手であるLive2Dのユーザー層に支援の幅を広げるべく、mocopi側からアクションを持ちかけることにしました。ドアノックするにあたって、お恥ずかしながら、私自身もLive2Dがソニーグループの同じ傘の中に居ることを存じ上げていませんでした。

中城氏(以下敬称略)：元々は上場を目指して開発していたのですが、上場の条件下では自由が効かなくなってしまうなど、なかなか難しいと考えていました。クリエイターのためを思って発展していく中で、上場ではない選択氏を模索するなかで、ソニー傘下のアニプレックスを紹介してもらいました。

中城：お話ししているなかで、色々応援していただけるということになり、100％ではなく、上場を目指す時の株(55％)を全部買い取っていただき、ソニーさんがベンチャーキャピタルなどの代わりになっていただくことで、一緒にやっていきましょうという関係になりました。

mocopiとの連係のお話しを聞いたときには、全身がトラッキングできる3Dはすごくていいな、といった感覚で、Live2Dで全身トラッキングができるというイメージもなく、連係してもできることがないかもしれないと最初は思っていたのですが、話を進めていく中で、熱意をもの凄く感じましたし、Live2Dを使ってくださるクリエイターさんにとってもっと面白い選択氏が広がった方が、もっと幅広く表現できる環境になって、一緒に進化していけるのではと思い、自社で開発運営しているnizima LIVEで着手しました。

相見：mocopiチームとしても、最初は2Dと3Dの合わせ込みには難しさがあるだろうと思っていました。nizima LIVEでは元々ハンドパラメーターが設定されていれば、Webカメラで手を動かすことはできると伺っていたので、そこにmocopiを活用して、手の表現力を上げていくところからコラボできればと思っていたのですが、突然2回目か3回目くらの打ち合わせで、「全身ある程度動かせるようにします」とおっしゃっていただいて、どんどんLive2Dさんの方で機能が拡張されていきました。

今回のnizima LIVEでの全身トラッキング対応では、mocopiアプリで生成される3Dモーションデータを、nizima LIVE側で2Dモデル向けのモーションデータに変換し、それをアバターへ反映する仕組みとなっている。肩までパラメーターが設定されているアバターであれば、従来はWebカメラの画角を気にしながら行なう必要がある、万歳のような動作も、気軽に行なえるようになる。

一方で、例えばmocopiを装着してターンするような動作をしても、平面での情報しか持たないLive2Dでは一回転できないため、無効化されてしまうという。

ちなみに、対応の2DアバターはLive2Dが提供するソフト「Live2D Cubism」などで腰や足にもパラメーターを設定してモデリングすることで制作できる。ハンドトラッキング対応のモデルを拡張する形でステップを踏める程度の動きをモデリングする場合、作業日数の目安は3日から10日程度とのこと。

“いらすとや”とも連係。アバター操作を手軽に様々な領域へ

今回の連係にあわせて、イラストレーターみふねたかし氏のフリーイラスト素材「いらすとや」から、顔や手足が自在に動くLive2Dモデルが、nizima LIVEの全身トラッキング対応のサンプルモデルとして登場する。アップデート日から近日中に10体が利用可能になる予定とのことだ。

相見：いらすとやのアバターでVTuberをやってみるということも面白いと思うのですが、いらすとやと言えば、色々な分野でパワーポイント作成なども含めて当たり前に使われているものになりましたよね。

mocopiの場合は、少なくとも日本のユーザーのイメージではVTuberや、VRChatといった日本的なキャラクター調の世界観を動かすツールとして使われているか、あるいは本当に3Dの開発現場で使われていますが、ここにいらすとやの要素が加わることで、2次元の絵を使った表現までいかずとも、(素材としてのいらすとやが使われているような)様々な説明の場に、これまで(mocopiを)使っていなかった方々が「ちょっと面白いんじゃないか?」と実感できればと。

それこそ、会社員のプレゼンなどでmocopiを使ってLive2Dアバターを使ってみたりといった、今まで想定されてない場所の新しいお客様のところにもサポートが範囲が広がっていけるかなという期待をしております。

中城：いらすとやに関しては、すごくシンプルで魅力的なイラストであることと、Live2Dで動かす難しさもそれほど高くない、そして表情を魅力的に動かせるという要素が揃っていて、mocopiによる全身トラッキング対応のアバターもある程度気軽に作れるため、すごく良いタイミングでの連係だったなと思っています。

Live2Dは、今回の連係でmocopiで対応する足の動きもそうですが、動きをパラメーターで設定していく作業は非常に大変です。私も経験がありますが、3秒の動きを作るのに1時間以上かかることも多々あります。

いらすとやのアバターが実装されたときに、mocopiがあることで、歩いているような動きや、プレゼン資料を説明しているような動きなども手軽にできるようになるので、クリエイターからユーザーまでの広い範囲に対して、すごく良い具合にまとまったアップデートを提供できることになったと思っています。ぜひYouTubeなどにいらすとやのアバターを使った作品を出したり、YouTuberのような活動をしたりと、我々の想像を超える色々な表現で使っていただけたらと思います。