場所は広々とした展示会場。スマホ画面に猫耳少女(3Dモデルのトラスちゃんというのですね)のアバターが登場し、来場者や関係者の間を縫うように歩いていきます。アバターの前を他の人が通った場合はアバターが表示されますし、アバターの前に人がいればアバターは隠れます。つまりCGキャラクターが現実世界の中にしっかり存在しているように見えるのです! オドロキ…。

人の奥側歩けるんだよ〜！　かわいいね

(X　オレンジ@orange_3134 より引用)

この動画は投稿者であるオレンジさんが開発した「おでかけAR」で撮影されたもの。猫耳の女の子はオレンジさんのアバターです。とかくバーチャルの世界で3Dキャラクターを動かすと、画像が消えたり、重なったりして不自然に見えがちですが、この「おでかけAR」は非常に自然に見えます。動画を見たフォロワーからは賞賛と驚きの声が…。

「今の技術凄いね…感動だ」「すげー。手前を含む全人間の座標瞬時にとってるのかな」「すごい! リアルタイムでこれ? 」「リアルタイムでこれは凄すぎる…深度情報まで正確に測れるスマホの進化が凄まじい」「手前に人が来たら遮られるなんてごく普通のこと　この普通の為にどれだけの時間がかかったのだろうか　スゲェぇぇ」「すごい! これがあれば将来寂しくならないな…うん…あれ? 目から汗が…」などなど。投稿者であるオレンジさんに「おでかけAR」についてお話を伺いました。

○……「おでかけAR」について、どんなことができるのか簡単に教えていただけますか?

おでかけARは「スマホを持って歩くだけで、スマホの動きに合わせてアバターが現実世界を歩いてくれる」アプリです! 現実世界にアバターを合成するアプリは他にもいくつかありますが、おでかけARは「歩くこと」と「動画を撮ること」に特化しています。「VRM」というアバターデータの規格に対応していて、インターネット上で配布されているアバターや自分独自のアバターもアプリに読み込んで使用することができます。

○……従来は、こんな人ごみをスイスイと違和感なく歩けることはなかったと思われますが、何がスゴいのかを改めてご説明いただけますか。

おでかけARのようなARアプリを使わずにこのような動画を制作しようとするとどんな手順になるかを知っていただくと、どこがすごいのかがよく伝わるかと思います。

・まずアバターを歩かせたい場所を普通のカメラで撮影します。

・その映像を動画制作ソフトで3Dトラッキングし、地面の位置やカメラの動きを解析します。Adobe AfterEffectsやBlenderというソフトでこのような処理が可能です。

・解析された動きに合わせてアバターが歩くCGアニメーションを制作します。UnityやBlenderというソフトを使用します。

・動画の中から、アバターの手前に来てほしいものを頑張って切り抜き、アバターが隠れるように重ねます。これもAfterEffects等の業務用編集ソフトで行えます。コマ送りしながら地道に行うかなり大変な工程です。

これが一般的なCGを使った動画制作の手順(実際はもうちょっと複雑)です。映画を作るならやる価値がありますが、ちょっと「アバターの姿でおでかけしてみた! 」みたいなことをやるには手間がかかりすぎちゃいます。

そこで、おでかけARを使えば「スマホ1台で」「面倒な後処理なしで」できるのが「スゴい」ところです! まず、「歩くこと」に特化しているので、操作はとても簡単です。歩かせたい方向に向かってスマホを動かせば、自然とついてくるようにアバターが歩いてくれます。空間の認識や合成はiPhoneのパワーでいい感じにやってくれます。人を認識して手前にいる人を自動でアバターの手前に表示します。

そしてなにより、すべてリアルタイムで処理されるので編集不要。撮ってすぐSNSに投稿できます! もちろん手間をかけて調整されたCG映像に比べてクオリティは数段下がります。ですが気軽にSNSに投稿する動画を撮るには十分です。

○……このような技術サービスを生み出そうと思ったきっかけは?

僕は普段からアバターの姿で活動していますが、今回投稿した「TOKYO XR・メタバース&コンテンツビジネスワールド」のような現実のイベントに参加することもよくあります。そのときにアバターの姿で参加している様子を動画に撮って投稿したいな〜と思っていたのですが、先に書いた通り動画を加工して作るのはかなり骨が折れる……。ということで簡単にできるアプリを作ることにしました!

○……制作する上で苦労・工夫した点は?

iOSのアプリを作るのはおろか、Unityでちゃんとしたアプリを作るのすらも初めてだったので、何もかも一から調べることばかりで大変でした。とにかく「外を歩く」ことが目的だったので、スマホを持って歩くだけでアバターが動いてくれるのが一番の工夫ポイントです!

○……今後手がけてみたい技術、サービスなどはありますか。

Apple Vision Proが出るので、それを使っておでかけできるようにしてみたいですね! ちなみに、おでかけARの一番最初のテスト版はMeta Quest Proで作っていたんですよ!

アバターでリアル世界をお散歩できる！！！！????‍♀️これがQuest Proの真髄だ！！！！！????????????#QuestPro pic.twitter.com/mfEJOpA6n6- オレンジ???? (@orange_3134) October 28, 2022

▼人の奥側歩けるんだよ〜！　かわいいね

人の奥側歩けるんだよ〜！????????????かわいいね????#おでかけAR #tokyoxrmeta pic.twitter.com/dU4dkq0R1J- オレンジ???? (@orange_3134) January 27, 2024