ソニーの最新映像技術「バーチャルプロダクション」って何？「SixTONES」が「共鳴」を公開
■PLAYLIST -SixTONES YouTube Limited Performance-」共鳴：
●新しい映像表現とパフォーマンスの融合を目指す「PLAYLIST」
「PLAYLIST -SixTONES YouTube Limited Performance-」はSixTONESのYouTubeオフィシャルチャンネルにて不定期で行われる映像企画で、新しい映像表現とアーティストパフォーマンスの融合を目指した完全オリジナル・撮りおろし企画。地上波音楽番組ではなかなか実現できない映像表現や演出と、SixTONESメンバー6人が魅せるパフォーマンスとの融合が見どころ。これまで計3日分・3曲のオリジナルパフォーマンス動画を公開した。
Day.1:2021年8月9日(月) 22:00公開「マスカラ」https://www.youtube.com/watch?v=6hRZ74gI8EQ
Day.2:2021年8月11日(水) 22:00公開「フィギュア」https://www.youtube.com/watch?v=t5IR4wHShXQ
Day.3：2021年8月13日(金) 22:00公開「僕が僕じゃないみたいだ (Dramatic Rearrange)」https://www.youtube.com/watch?v=RKisALNVx8U
●CGと実写を組みあわせた映像を実現する「バーチャルプロダクション」
今回公開された第4弾「共鳴」は一般公開される作品として初めて「清澄白河BASE」で撮影されたもので、「バーチャルプロダクション」という撮影技法が使用されている。「バーチャルプロダクション」は大型LEDディスプレイ、カメラトラッキングとリアルタイムエンジンを組み合わせた撮影手法。3DCGを中心としたバーチャル背景を大型ディスプレイに表示し、現実空間にあるオブジェクトや人物をカメラで撮影することで、CGと実写を組みあわせた映像制作を実現する。
スクリーンの前で役者が演技、小道具を使った演出を行い、ライティングと合わせて撮影する。
幾何学的なオブジェクトが展開する異空間を表現
背景映像はカメラの動きに連動して動く従来のスタジオ撮影ではセットを作り込むかグリーンバックでの合成処理が主流だが、「バーチャルプロダクション」を使うことによって3DCGで作成した背景をリアル空間のようにカメラで撮影することができる。ディスプレイの前面に鏡面のステージや砂を敷くなどの美術セットを作りこむことで、よりリアル空間とバーチャル空間の境界がわからない、リアルな空間を生み出すことが可能。また、背景に合わせて演者に実際に風をあてることで、より背景と演者の一体感を生み出すことができる。
大型ディスプレイはソニーが開発したCrystal LED Bシリーズ。解像度9,600×3,456ピクセル(横15.2m×高さ5.4m)のCrystal LED Bシリーズ(LED画素ピッチ1.58ミリ)を曲面状に配置し、高精細な映像を高輝度・広色域・高コントラストでバーチャルプロダクションに最適な画像をリアルに描き出す。照明の反射を抑える低反射コーティングと広い視野角は、自由なカメラワークでの撮影を可能にする。
●「SixTONES」からのコメント
今回清澄白河BASEで撮影してみていかがでしたか？
アトラクションのようにカメラと連動して背景が動いているので、臨場感があって映像に取り込まれそうな感覚がありました。グリーンバックを使って撮影させて頂く時と違い、その場で完成形に近い映像を確認する事ができるのが新鮮でした。出る側としては完成形を観る事ができるのは、すごくわかりやすかったです。背景の動きに合わせて『背景のここにこれがあるんだったら、こうしよう』と考えて動いたり、自分の身長を考慮して動くなど、とても掴みやすかったです。他のメンバーやスタッフと世界観のイメージを統一しやすいのもメリットだなとも感じました。また、今回の映像を観ると、改めてその綺麗さに驚くとともに、本当にその場にいるような感覚になりました。この映像の綺麗さは、今後様々な場所で活用し、いろんな可能性がありそうだなと思いました。今回の撮影で特にファンに見て欲しいポイント、見どころはどんなところですか？
僕たちのパフォーマンスと最先端技術がどのようにマッチしてくのかというところが見どころです。「共鳴」のMVは全編グリーンバックで撮影し、そこからリップシンクを差し込んだり、自分たちのイメージカットを織り交ぜたり、目まぐるしく文字を入れて動かすCGの加工を施すなど、「後から編集して作っていく」という独自の面白さがありました。今回はどちらかというとワンカメショーに近い方法で撮影しているので、より僕たちの姿やパフォーマンスに目が行きやすいだろうし、それを際立たせている背景やシチュエーションも、唯一無二なものになっており、また違った目線で楽しんでもらえるのではないかと思います。今後、バーチャルプロダクションを使ってチャレンジしてみたいことは？
こういうご時世ということもあり、例えば無観客ライブや配信ライブで使ってみたいです。ライブ会場に来られない人であっても、今まで味わえなかったパフォーマンスが届けられそうと思いました。バーチャルプロダクションに僕たちの生のパフォーマンスを重ね合わせて、今まで表現しきれなかった事が表現できるのではないか、という可能性を感じました。バーチャルプロダクションを使う事で、配信ライブだからこそ実現できるような演出も、たくさん作れそうだなと思いました。
●ソニーPCLの新たなクリエイティブ拠点「清澄白河BASE」
「清澄白河BASE」は先端技術による新たな映像表現手法や体験を生み出し発信する場として、ソニーPCLが開設したクリエイティブ拠点。ソニーのCrystal LED Bシリーズを使用した国内初となる常設のバーチャルプロダクションスタジオをはじめ、先端技術を活用した制作機能を備える。
「清澄白河BASE」の特徴：
■ソニーが開発した高画質LEDディスプレイ、Crystal LED Bシリーズを導入：
解像度9,600×3,456ピクセル(横15.2m×高さ5.4m)のCrystal LED Bシリーズ(LED画素ピッチ1.58ミリ)を曲面状に配置し、高精細な映像を高輝度・広色域・高コントラストでバーチャルプロダクションに最適な画像をリアルに描き出す。照明の反射を抑える低反射コーティングと広い視野角は、自由なカメラワークでの撮影を可能にする。■ソニーのCineAltaカメラ『VENICE』を装備：
高解像・広色域に対応し、幅広い輝度条件下で豊かな階調表現が可能なデジタルシネマカメラ『VENICE』を設置している。Crystal LEDとの組み合わせは、色再現や階調表現における親和性が高く、編集作業の軽減とクオリティの高い映像制作を実現する。■スタジオ天井に解像度1,008×1,008ピクセル(横7m×高さ7m)のLEDパネルを設置：
環境光として自然でリアルな被写体への映り込み表現を実現している。■床面積約760�屬亮嵶昌１討紡弍�したスタジオ環境：
自走式駐車場からスタジオへの乗り入れが可能。
●「バーチャルプロダクション」の使用例
ソニーの電気自動車「VISION-S」コンセプトムービー：
ディズニードラマ「マンダロリアン」：
Unreal Engine4を使用したバーチャルプロダクションで撮影
●映像監督も「表現が変わる」バーチャルプロダクションで広がる演出
大河臣監督：
1986年生、東京都出身。「関わるヒト、すべてが幸せに」をモットーに2011年より映像作家として活動。VFXや光学の知見を活かした画力溢れる空間演出を得意とし、広告やMV、展示作品など、演出領域は多岐にわたる。主な作品はRADWIMPS「鋼の羽根」Music Video、ONE OK ROCK「Broken Heart of Gold」Music Video、YOASOBI「NICE TO MEET YOU」Vision LED総合演出など。大河臣監督からのコメント：
バーチャルプロダクション(以下、VP)自体は、過去にいくつかの作品で経験がありました。VPはハードウェアとソフトウェアの両方の許容量に大きく依存する撮影手法ではあるので、「何ができるのか」「どこにボトルネックがあるのか」を理解していることがとても重要な案件だと感じています。なので、まずはスタジオのスペックをヒアリングすることから始めて、「表現としての勝ち目をどこに置くか」を各所クリエイターを交えて考えていきました。清澄白河BASEには、大きくて超高精細なCrystal LEDが常設である。さらにカメラはVENICEが使える。それはスペックとしてとても高く、ユーザーとしての我々が「どこまで使いこなせるか」を試されるな、と感じました。ベースとなるスペックが高いと、最初から選択できる幅が広い。だからこそ、無邪気かつポジティブにいろいろなことが相談できました。LEDの輝度も選べるので、LED自体を光源として生かした撮影をすることもできるし、暗くしてしっかりと手前側のライティングを作り込んで表現をすることもできます。そしてその暗部の階調や低照度の環境に対して、VENICEならきちんと描写することができます。作りたいものによってマシンスペックを選べること、さらにそれをやりながら検証して決めていけるところは、すごく良かったです。ゲームエンジンやトラッキングシステムなど、バーチャルプロダクションに使っている技術は進化が早く、それに伴ってワークフローや表現もどんどん進化していくものですが、このスタジオにはそれを受け止める懐の深さがあると感じました。将来的にどうなっていくのか、とても楽しみです。普段ミュージックビデオなどを作るときは、1本の作品のクオリティをあげていく中でカットをしっかり割っていくことが多いのですが、今回は、VPならではの画のおもしろさと共に、SixTONESのダンスパフォーマンスをしっかりと観ていただけるようにロングテイクでの構成を目指しました。VPで難しいのは、表現効果としての高さとマシン負荷との折り合いや両立、落とし所をどこに設けるかというところ。ハイスペックな環境とはいえ、処理の重い表現をいかに最適化していくかというところは大きな課題でした。ワンカットの中でライティングの変化や形状の変化、ステージ自体が崩れたりなど、目まぐるしく変化していく空間をロングテイクの中で表現していくことが一番のチャレンジでした。基本的なVPのメリットは、クロマキーで撮影するのとは違って、完成形を現場で見ながら撮れること。クロマキーで後に合成される世界観の認識が各々のスタッフで少しずつずれていると、意見が食い違うこともあります。普段はそこの認識や価値観にズレが生じないようにコミュニケーションをしっかり取ることを常に意識していますが、VPだとそれが実際に目で見えているので「進みたい方向の共有」がよりスムーズにできます。実際に被写体としてカメラ前に立つ役者やパフォーマーもより明確なイメージをもってテイクに臨めるので、パフォーマンスや芝居の練度の向上という意味でもとても意義のあることだと思います。スタッフ、演者ともに、クリエイティブを高めるための一歩先のコミュニケーションをスムーズにできることは、大きなメリットだと思います。VPで作品をつくるとその先進性にいつも胸が踊るのですが、今回はそれをわかっていてもさらに「おお、すごい！」と思うタイミングが何回もありました。それは技法としての新しさはもちろん、ハードやソフト面といったスタジオの環境水準の高さによるものでもあると強く感じています。想像力によって大きくジャンプできるし、応えてくれる。懐の深さがあるこの技術を作品に活かせるようこれからも追求していきたいです。ソニー・ミュージックエンタテインメント担当者よりコメント：
アーティストの方々に、この技術を導入することで、新たな表現の可能性を感じてもらえるかどうかが重要だと思っていましたが、今回このような形でSixTONESチームと新しいパフォーマンスに挑戦することができました。リアルとバーチャルそれぞれの良さが高い次元で融合され、これまでにはできなかった表現ができるようになることで、作品を心待ちにしていただいているお客様に、見たことのない世界を楽しんでいただくことができれば嬉しいです。ソニーPCL クリエイティブ部門 ビジュアルソリューションビジネス部 統括部長 小林大輔氏よりコメント：
清澄白河BASEはクリエイターと先端テクノロジーが出会う場所であることを目指しています。そのふたつが出会うことで、映像制作の可能性を探索し、新しい表現が生まれることを期待しています。そのためには、常設スタジオであることに意味があり、そこに多様な技術が集まってきてほしいと考えています。今回、まず最初のテクノロジーとして、常設のバーチャルプロダクションスタジオをつくりました。バーチャルプロダクションは3DCG空間を現実空間のように撮影できる技術です。最大のメリットは、リアルには撮影が難しい場所やシチュエーションで撮影したかのような映像を、スケジュール通りに撮れること。本当につくりたい映像を、効率的なスケジュールで制作することができます。今回、一般公開される作品としては初めて、SixTONESの楽曲パフォーマンスを撮影しました。リアルタイムでの背景合成を実現することで、従来の映像制作における時間や場所などの制約からクリエイティブ表現を自由にできるバーチャルプロダクション技術の特徴と、ソニー・ミュージックレーベルズ所属のアーティストであるSixTONESが取組む『PLAYLIST』が目指す新しい映像表現とアーティストパフォーマンスの融合という点が合致したことで、今回の企画は実現しました。これまで制作してきたCM、映画やコンセプトムービーといった、現実空間を再現しようとする”静的”な背景が多かったのですが、今回は、LEDに表示される背景自体にレーザービームが入るようなライブ感など、音楽表現としての新しい挑戦が盛り込まれている”動的”な背景を用いたバーチャルプロダクションでした。その背景の前でSixTONESの6人がパフォーマンスする映像を観た時、バーチャルプロダクションとしての新しい可能性を感じました。
