Vol.07 ソニーPCL 「清澄白河BASE」：バーチャルプロダクションとボリュメトリックキャプチャ連携で新コンテンツ制作[VOLUMETRIC NEW ERA]
はじめに
日本国内にあるボリュメトリックキャプチャスタジオは、自社開発の撮影システムを持っているか、他社が開発したものを導入しているかに大別できる。自社開発の場合は、開発チームが関係的・物理的に近い位置にいると予想され、撮影システムの頻繁な性能向上や機能向上も期待できそうだが、それをまさに実践しているのがソニーPCL「清澄白河BASE」内のボリュメトリックキャプチャスタジオである。
「清澄白河BASE」内にソニーのボリュメトリックキャプチャスタジオが開設されたのは2022年7月であるが、開設後も多くの撮影実績を残しており、しかもそのすべての案件で、その前の案件から何かしらの技術的な改善や更新をしているというから驚きだ。開設から半年間経ったタイミングで見学をさせていただき、ソニーグループ株式会社R&Dセンターの池田康氏や増田徹氏に話を聞けたので、紹介したい。
高品位な2Dデータ生成やリアルタイムライブを実現
ソニーでは、2020年1月に品川本社内にスタジオを設置し様々なユースケースでの価値検証を進めてきたが、2022年7月に撮影・制作ソリューションの事業化に向けた検証（PoB： Proof of Business）のためソニーPCLの「清澄白河BASE」にスタジオを開設した。
ボリュメトリックキャプチャスタジオでは高精細な人物キャプチャが可能で、2Dレンダリングにも独自アルゴリズムが利用されており、商用利用可能な高画質を特徴としている。ソニー社内のスタジオでは、ボリュメトリックビデオのライブストリーミングも実現されており、2020年8月2日のいきものがかり生配信ライブ（『いきものがかり Volumetric LIVE 〜生きる〜』）ではリアルタイムにも関わらず高品質な配信を実現できたという。「清澄白河BASE」では、バーチャルプロダクションとボリュメトリックキャプチャのスタジオが隣接しており、ボリュメトリックビデオデータをバーチャルプロダクションやその他のコンテンツと併用しやすい環境というのも特徴であろう。
実は筆者も2020年3月にソニー社内にあったボリュメトリックキャプチャスタジオにお世話になったことがある。歌舞伎役者である片岡愛之助さんの獅子の舞をボリュメトリックで撮影し、それをスマートフォンやタブレットでのAR（Augmented Reality：拡張現実）アプリ「Reverse Reality 〜KABUKI Performance"Shakkyo"〜」として松竹株式会社と実装して、コロナ禍で劇場に行けないお客様にアプリで気軽に歌舞伎に触れられる体験を提供した。
idomのパフォーマンスをVR空間で再現
そして今回見せていただいた最新の撮影データはシンガーソングライターidomであった。idomが歌う楽曲「GLOW」のパフォーマンスをメタバース空間であるVRChatで体験できるようにしたもので、2022年12月24日から2023年1月3日に期間限定で開催された横浜の街と光のアートイルミネーション「ヨルノヨ」用のコンテンツであった。
約5分間のコンテンツで、ユーザーはヘッドマウントディスプレイを用いて仮想世界に作られたみなとみらいを訪問し、上下左右360°移動できる状態でidomのパフォーマンスを3Dで見れるという体験だ。VRChatというシステムの制約上、使用できるデータ量に上限（背景のワールドを含めて600MB）があったわけだが、体験で利用したMeta Quest 2で見る分には、十分に高品質なデータになっていたと感じた。
ボリュメトリックキャプチャ×バーチャルプロダクション
同じくidomのボリュメトリックビデオのデータを用いて、今度はバーチャルプロダクションと連携して動画を作るという現場に立ち合えた。「清澄白河BASE」といえば、常設のバーチャルプロダクションスタジオだ。ソニーが開発した高画質LEDディスプレイ、Crystal LED Bシリーズ、ソニーのデジタルシネマカメラ『VENICE 2』、またインカメラVFXシステムとしてはUnreal Engineを使用しているバーチャルプロダクションスタジオに、ボリュメトリックキャプチャという最新撮影技術を連携させる挑戦だった。
バーチャルプロダクションでは、カメラの位置に応じて被写体の背景にあるLEDディスプレイに映す3D CGの見え方が変わる仕組みになっている。一般的には場所や建物などを表す背景CGを使用することが多いのだが、今回はidomの背景に巨大な本人のボリュメトリックビデオがいるという構成になっている。
したがってカメラが左に移動すると、ボリュメトリックビデオでのidomの右側面がより見えるようになるという演出だ。ソニーでは、今回このボリュメトリックキャプチャとバーチャルプロダクションを連携させるために、UEに対応したボリュメトリックビデオレンダリングプラグインを開発したという。
idom - GLOW | Sony’s Volumetric Capture ＆ Virtual Production SPECIAL VIDEO
「清澄白河BASE」は完成された撮影システムを運用するだけのスタジオではなく、クリエイティブ担当とテクノロジー担当の両者が常駐し、撮影システムや表現手法が常にアップデートされていく拠点であった。確立された手法を使いこなすだけでなく、新しい仕組みや技術が毎回加わることで、撮影の難易度は高くなると思うが、それを越えてでも新たな映像を作り出したいという気概が伝わってくるボリュメトリックキャプチャ×バーチャルプロダクション連携であった。今後のさらなる進化も楽しみにしたい。
ソニーグループ R&Dセンター増田徹氏インタビュー
ソニーグループのR&Dセンター増田徹氏に、「清澄白河BASE」のボリュメトリックキャプチャスタジオについて話を聞いた。
――ボリュメトリックへの取り組みについて教えてください
増田氏：
ボリュメトリックはまだ発展途上の技術のため実用化と技術開発を並行して行っており、新しいアルゴリズムやハードウェアの導入など案件を経るたびにレベルアップを図ってきました。2020年には、ソニーグループ本社ビル内に複数人の撮影が可能なボリュメトリックキャプチャ専用のスタジオを設置し、ミュージックビデオや映画やCMなどの案件を撮影・制作サポートさせていただきました。2021年になると映画「バイオレンスアクション」でも使っていただけるようになり、2022年7月 には「清澄白河BASE」にボリュメトリックキャプチャスタジオが稼働開始しました。
3Dでのコンテンツ制作に関しては、2022年末にidomさんのメタバースライブ「ヨルノヨ[VIEWING-ROW/idom]」を手掛けました。スタジオの中でidomさんが楽曲「GLOW」を歌う様子を3Dキャプチャして、世界中の人たちが集まってみんなで一緒に楽しめるコンテンツを実現しました。
その時もっとも苦労したのはVRChatのデータ量制限でした。VRChat側から安定動作はワールドを含めてすべて600MB程度と指定されまして、いかにフォトリアルなデータを押し込められるかに苦労しました。全体的なメッシュを小さく、テクスチャを小さくして、クオリティを保つ方法をR&D側と試行錯誤しました。
そして現在は、メタバースライブから他コンテンツへの展開を行っている最中です。バーチャルプロダクションのLEDパネルにボリュメトリックのデータを表示して、バーチャルプロダクションとの融合にチャレンジしています。
――ボリュメトリックキャプチャスタジオの概要を教えてください
増田氏：
スタジオは円形で直径約8.7m、撮影できる範囲は直径6m、高さは3mの円柱状のエリアです。国内でも、比較的広めのスタジオを実現しています。
並んでいるカメラは、すべて4Kのカメラです。最大のフレームレートは60fpsで撮影が可能です。今照明は少し暗くしてますけど、もっと明るくしてシャッタースピードを上げることができます。これまで行った最高は1/2000秒です。恐らくもう少し上げられるのですが、画質のトレードオフです。1/2000秒では、ゴルフや野球のスイングでもきれいな形状が出せていました。
当スタジオならではの特徴は、天吊りができることです。空を飛んでいる際のふわふわ感は地面に足が着いたままでは出せません。そこで、「清澄白河BASE」設計時から天吊りができるようにしました。
――バーチャルプロダクションに使われるidomさんのデータ量はどのぐらいになりますか？
増田氏：
データ容量に関しては、カメラとLEDパネルとの位置関係で、どのように撮るかで考える必要があります。背景アセットとの組み合わせでも問題なく動作することを確認するため数パターンのデータを用意して実験を行いました。実験の結果、通常の映像制作時に比べて1/3以下程度にサイズを抑えても品質を維持することができ、かつ安定的に動作することが確かめられました。
――最後に、「清澄白河BASE」での今後の展開などを聞かせてください
増田氏：
従来2Dコンテンツ制作がメインでしたが、これからは3Dの需要が高まると考えています。3Dのクオリティにおいてもリアルなものを追求し、他社に負けないリアルさをソニーとして徹底的に追求していきます。あとはクリエイターとの連携が成り立っている場所です。今後もよりクリエイターにとって近い環境を実現していきたいといと考えています。
