品川のスタジオで世界を巡る。世界的ダンサーMiyuのダンスビデオ「MAU」を支えたxR撮影の舞台裏
世界的ストリートダンサーとして知られるMiyuさんが、初のプロデュース曲「MAU feat. ASUKA,MPC GIRL USAGI」の コラボダンスビデオ を撮影しました。
Miyuさんはワールドチャンピオンのタイトルを持つダンサーで、2024年にはブルーノ・マーズさんプロデュースによる「ドン・キホーテ」CMで本人と共演。ブルーノ・マーズさんから直々指名を受け、ダンスの振付指導も担当したことでも話題を呼びました。
「MAU」では、箏奏者の明日佳（ASUKA）さん、MPCプレイヤーのUSAGIさんというMiyuさんと同じくグローバルで活躍する日本人女性アーティストが参加。映像ディレクターは、BE:FIRST、XG、Number_iなど人気アーティストの映像を手がけるte2taさんが担当しています。
そんなダンスビデオのコンセプトは、トラックの荷台でセッションしながら、世界中を巡る3人の姿を躍動感たっぷりに描くというもの。しかし、この映像は実際には品川にあるxRスタジオで撮影されています。
では、どのようにして、この映像は撮影されたのでしょうか？ 技術協力として参加した株式会社イノベーターワン代表の久保島 力さんにその技術的な背景を詳しく聞きました。
「限られたスペースで、無限大のことができる」
xRスタジオとは、大型LEDビジョンで囲まれた空間のなかで、LEDビジョンとリアルタイムCGを活用し、実写とデジタル空間をその場で融合させる次世代型の映像制作スタジオのことです。
イノベーターワンのxRスタジオにはLEDビジョンが壁・床3面に配置されており、アーティストがパフォーマンスを行なうと、カメラの動きに連動するリアルタイムCG並びにカメラトラッキングシステムで、背後のサーバーがカメラの位置に合わせて、仮想背景をリアルタイムで更新・書き出していきます。
カメラが動くと、背景のCGも自然に動くため、本当にその場所にいるように撮影できるのが特徴です。
このスタジオでのxR撮影のメリットについて、久保島さんは「限られたスペースのなかで、無限大のことができる」と語ります。
では、LEDビジョンに映し出されている背景はどう作られているのでしょうか。答えは、ゲームエンジンとしても知られるEpic Gamesの3D制作ソフト「Unreal Engine」です。これを使って、撮影に必要な仮想空間を丸ごと構築します。
今回のダンスビデオでは、富士山の見える「和」の世界、アメリカのルート66的な一本道、ニューヨークの街並み、パリの街並みという4つの背景シビジョンーンが作られました。
これらはすべて360度の立体空間として構築されていますが、久保島さんいわく、その空間のなかでは「例えば今日は1番街、明日は2番街という具合に、座標をずらすだけで撮影場所を変えられる」とのこと。
ただし、最も難しいのは「いかに本物に近い質感を出すか」という部分だと久保島さんは語ります。特に水や布のような「柔らかいもの」の表現が難しく、石や岩などの硬質なものに比べて格段に手間がかかるそうです。また、この3D環境の制作が、実は全工程で最も時間とコストがかかる部分とのこと。
xRスタジオの映像がリアルに見える最大の理由が、カメラトラッキング（カメラの位置追跡）です。スタジオの天井に複数のセンサーが設置されており、カメラの位置と角度をリアルタイムで検出。そのデータをサーバーに送り、カメラの動きに合わせて背景をリアルタイムで更新します。
これは人間の目の仕組みと同じ原理だと久保島さんは説明します。自分が頭を左に傾ければ、後ろの景色は相対的に右に動く。この「視差」の再現があるからこそ、背景に奥行き感が生まれるのですが、カメラが動くと、背景のCGも自然に動くため、本当にその場所にいるようになる。トラッキングなしでも撮影自体は可能ですが、その場合、背景は動かない平面的な壁紙のようになってしまいます。
また、R撮影を理解する上で重要なのが、「LEDビジョンに映っている部分」と「映っていない部分」の合成という概念です。
先述したようにスタジオのLEDビジョンは3面ですが、カメラがその外側に向いても、サーバー上には360度の仮想空間が存在します。つまり、LEDビジョンに表示されていない領域もリアルタイムで合成できるのです。その際、LEDビジョンの境界線で実写映像とサーバー上のデータを「1ピクセルもズラさないように」合わせ込むのがリアルタイム合成の重要なポイントになります。
そのため、撮影のワークフローも従来とは大きく変わります。通常の撮影では、カメラのファインダーを見ながら撮るのが基本ですが、xR撮影では合成後のモニターを確認しながら撮る必要があります。
xRスタジオのLEDビジョンは、ライブ会場や屋外ビジョンで見かけるものとは別物というのも大きなポイントです。最大の違いは、「見る」ためではなく「カメラで撮られる」ことを前提に設計されている点。撮影用の強いライトが当たっても反射せず、むしろ光を吸収する特性を持っています。
イノベーターワンのスタジオでは、LEDビジョンの「絵作り」を左右する中核部品として、イギリスBrompton Technology（ブロンプトン・テクノロジー）製の受信カードを採用。同社製品にはライブ用から映画撮影向けのシネマ用までグレードがありますが、このスタジオでは最高グレードのシネマ用が使われており、高速かつ高精度なビデオ信号の受信と処理を担っています。
撮影スタイルとxRの制約の両立
今回の「MAU」ダンスビデオでは、te2taさんの撮影スタイルとxRの制約の両立が最大の挑戦でした。
通常、xRスタジオでは三脚にカメラを固定して撮影するのが基本です。しかしte2taさんはダンス映像で定評のある「手持ちアクティブ」なスタイルの持ち主。スタジオスタッフはそのスタイルを尊重しつつ、xRの技術的制約とすり合わせるという難題に挑みました。
そのために、撮影の1週間前から入念な調整作業が繰り返され、カメラの構成や、レンズごとの歪み特性を記録した「レンズファイル」が調整されたとのこと。
さらに、今回作成された背景シーンには動きのある要素が多く、これがサーバーの映像処理に大きな負荷をかけたといいます。久保島さんいわく「枝が風で少し揺れるだけでも、すごい負荷がかかる」とのことで、最新のハードウェアを使っていてもサーバーが熱くなり、ファンの騒音が響き渡るほどだったそうです。そのため、xR制作の現場では、美しい映像を作るだけでなく、機材の処理能力も考慮しながら企画を練ることが求められます。
そして、カメラマン自身がxR撮影初体験だったことも大きかったとのこと。「従来のカメラワークとはまったく異なるスキルが求められるだけに、こういった撮影が好きな人でないとなかなか難しい」と久保島さんは語ります。
xRスタジオには、天候や時間帯に左右されない、ロケ移動が不要、物理的なセットが最小限で済み、廃材が出ないなど、制作上のメリットも多くあります。一方で、人材不足は深刻です。Unreal Engineを扱えるエンジニアは日本にもいるものの、その多くがゲーム業界に流れており、映像制作向けの高品質な3D空間を作れるクリエイターは世界的に不足しているとのこと。また、xR撮影に対応できるカメラマンもまだ少ないのが現状です。
今後の展望について、久保島さんはAIを活用した3Dコンテンツ制作の効率化に期待を寄せており、こうした技術の進化によりXR技術の活用先はさらに広がっていく、と話します。
品川のビルで、世界中を旅する映像を撮る。それを支えるのは、3D空間を作るエンジニア、レンズの歪みを調整する精密な調整作業、ピクセル単位で映像を合成するサーバー、そしてそれらを束ねるスタッフの技術と経験です。「MAU」のダンスビデオを視聴する際は、その映像の裏にあるテクノロジーの力にもぜひ注目してみてください。
Photo: ギズモード・ジャパン
