CP＋プロ向け動画セミナー 2017 : 360度VR動画入門
谷口とものり（フォトグラファー）
講師を務める、フォトグラファーの谷口とものり 氏
360度VR動画と「パララックス」の問題
皆さんこんにちは。フォトグラファーの谷口とものりと申します。私は普段からVR動画の撮影をしています。今日は、360度VR動画の制作についてお話をしてみようと思います。やや専門性の高い部分もあるかと思いますが、撮影からビデオの作成に至るまでの工程を追いながら、話をしてみたいと思っています。
ところで、今日ここにいらっしゃる皆様の中で、360度VR動画の撮影をしたことがある、という方はどれくらいいらっしゃるでしょうか。…なるほど、だいたい1割程度といったところでしょうか。では基礎のあたりからお話しをしていくことにしたいと思います。
本題の撮影に入る前に360度VR動画についての、知っておくべき基礎知識に触れておきたいと思います。VRシステムの普及などと相まって、360度VR動画への注目が高まってきていますが、その前段階としては、静止画の「スチールパノラマ」という作品ジャンルがあることを皆さんご存じかと思います。複数のショットから1枚の写真を作成するものですね。スチールパノラマ写真で皆さんが身近に目にするのは「Googleストリートビュー」でしょう。360度VR動画は、あのストリートビューの一つの場所の画像が、例えば30P、1秒間に30コマで動いているものだと理解するとわかりやすいと思います。
ただし、静止画のスチールパノラマと、動きのある360度VR動画の間には、一つの大きな違いがあります。スチールパノラマは1台のカメラをぐるっと回して撮影をしますので「中心軸がそろった状態」で撮影できます。そのため、手前の被写体と背景とが違和感なく一直線に並びます。
ところが、VR動画の場合は、1台のカメラでは360度を同時に撮影する事ができないために、複数台のカメラを使って撮影をしますので、どうしてもレンズの中心点がズレる。いわゆるパララックスの問題が生じます。するとどういうことが起きるかというと、映像をつなげる際に、手前の被写体と奥の背景とにズレが生じ、映像に不自然な部分ができてしまうんです。そのあたりのイメージは図を見ていただいたほうがわかりやすいのではないかと思います。
1台のカメラで撮影するスチールパノラマ（左）と異なり、複数台のカメラで撮影する360度VR動画（右）では、中心点がずれるためにパララックスが生じてしまう。
出典：Kolor社のWebサイト
ならば手前の被写体を避けて、風景などの背景だけの映像を撮ればいいじゃないか、という考え方もあるんですが、360度VR動画の面白さというのは、なんといっても、手前に人がいて、背景の風景が映り込むといったフォアグラウンドとバックグラウンドが混在しているところにあると思いますので、そこをソフトウェアの力を使いつつ、うまく工夫して修正していこうというわけです。
それともう一つの問題、それがシンクロです。複数台のカメラを使って撮影したものを組み合わせて1本の動画を作る際には、それぞれの映像の時間軸をピッタリと合わせないと絵がうまくつながりません。シンクロができていないと、ステッチした映像のつなぎ目部分が切れてしまいます。実はその他にもローリングシャッターの問題があるんですが、とりあえずは、これら2つの問題を解決して初めて、同じ時間で動くパノラマ動画が実現できるのです。
カメラの中心点がずれたりシンクロができていないと、ステッチした映像には歪みや切れ目が生じる。
出典：Kolor社のWebサイト
GoProの使い方と設定方法
では実際に撮影をしてみたいと思います。360度VR動画の撮影には「GoPro」を使うことが多いです。サイズが小さく撮り回しがいいうえに、レンズもいい。非常に使いやすいカメラなんです。今日はそのGoProを用いたシステムを使って撮影をしてみたいと思います。ちなみに、私が使っているのは「GoPro HERO4」です。
撮影を始めるにあたってまず大事なのが「設定」です。360度VR動画を撮影する場合は、設定項目の中の「Protune」の項目で設定をします。ここではコントラストを強めにしたり、ホワイトバランスの微細な調整をしたりといったことができるのですが、色の設定は「Native」にしておくことをおすすめしておきます。これだとCMOSそのものの色が出て、後から調整がしやすいんです。
と言うのも、私の経験ではGoProはカメラごとの色合わせが難しいんです。バージョンによってだけではなくて、カメラごとに色が違う。試しにシリアル番号を揃えてみたこともあるのですが、やはりダメでした。
ですから、カメラ側では余計な調整を行なわないに越したことはないと思っています。そうすることで、後から揃えやすい動画が撮れるのです。なお、シャープネスについてですが、Premiere Proなどでカラーグレーディングと一緒にかければいいので、撮影時はあまり強くしすぎず「Medium」あたりに設定しておくのがいいでしょう。
露出補正は通常「-0.5」に設定しましょう。複数台のカメラのうち1台が曇り空に向いている場合は、そのカメラのみ＋0.5に補正しますが、追って紹介する「OMNI」の場合は個別の設定ができませんので、この場合はカメラの向きに気を付けるということになります。
一つ注意しておきたいのは「low light mode」の項目は絶対に「オフ」にするという点です。これは暗所で撮影をした場合にフレームレートを自動的に下げる機能なので、ステッチの際に障害になることがあるからです。
ではGoProの性能はいかほどのものでしょう。YouTubeにアップしてある8Kサイズの360度VR映像をお見せします。8Kといっても360度全体で8Kですので、一度に見える領域はおよそFHD、通常の動画と同じ程度のクオリティになります。
8K 360video Short trip to Taipei
8K 360Video in Kurashiki City
8Kの360度VR映像。画面をドラッグすると360度を見ることができる。
解像度に関しては、最近では4Kだとちょっと物足りない、と言われることが増えてきました。少なくとも6K、できれば8Kあるといいですね。
360度VR動画の撮影をしてみる
さて、今日はまず「OMNI」というシステムを紹介します。これは6台のGoProがセットされたシステムカメラで、一度スイッチを入れると、すべてのカメラのスイッチが入り撮影できる状態になります。設定はプライマリに選んだカメラの設定が、他の5台に自動的に適用されます。一つ、注意しなければいけないのは電源が入ってから撮影ができるまでに少し時間がかかるという点ですね。これは使ってみないとわからないTipsです。初めて使う場合には気をつけてください。
GoProから登場した「OMNI」は、6台のGoProカメラを組み合わせて360度VR動画を撮影するためのシステム。4Kなら120Pで、6Kなら60P、8Kなら30Pで撮影ができる。タイムラプスを選択した場合は、11Kでの撮影が可能だ。
OMNIは一脚の上にセットします。撮影者は遠くから撮影の現場を望むことになります。映像の中に写りこんでしまいますからね。そうなると、現場は演者しかいないということになり、撮影中の映像をモニターできないということになります。この場合は事前にプレ撮影を行なうか、後から確認をするということになります。
それでは不安という方もいらっしゃるかもしれません。そういう場合には、インタニヤの「Back to Back」というシステムを使うという手があります。これは2台のGo Proにインタニヤ・フィッシュアイという超広角魚眼レンズを装着することで、360度VR動画を撮影するものです。こちらにはWiFi経由で映像を飛ばす機能がついていますので、離れた位置から撮影中の映像をモニターできます。このあたりは目的や使いみちなどを考え合わせて使い分けるのがいいかと思います。
インタニヤの「Back to Back」360°VR動画撮影キット。2台のGoProに超広角魚眼レンズを装着してある。
インタニヤの「Back to Back」はWiFi経由で映像を飛ばせるので、撮影中の映像をタブレットなどで確認できる。OMNIにはない便利な機能だ
実際にインタニヤで撮影をしてみましょう。カメラが回り始めたら、まずはクラップをします（手を叩いて音を入れる）。これは後でシンクロをする際に役立ちます。OMNIは6台のカメラが同期しているのでクラップは必要ありませんが、インタニヤはカメラが同期していないので、音によるサウンドシンクロか、カメラをわざと動かしてその動きで同期を取るモーションシンクロを行います。
これから演者の彼にカメラの周りをグルッと回ってもらおうと思うのですが、その前に、手を広げて大きく動かしてもらいます。これは何をしているのかというと、2台のカメラの映像をステッチする際のポイントを作っているんです。白い壁のようにシンプルな背景で撮影する場合は、ステッチのポイントをどこに打てばいいのかわからないので、このような動きをしておくことが大事になります。ではカメラの周りをグルッと歩いてもらいます。いいですね。撮影ができました。
撮影が終わったところでデータの取り込みをします。OMNIで撮影した場合は、「OMNI Importer」というアプリケーションを使います。6台分のSDカードに保存された映像を一気に読み込むことができ、プレビュー映像が見られるので確認するのにいいでしょう。OMNIの場合、6台のカメラで撮った映像を斜めにつなぐ方法と、横につなぐ方法の2種類があります。つなぎ目の形が異なりますので、それぞれメリットとデメリットがあります。映像によって、適したほうを選ぶことができます。斜めにつなぐ方が自然にステッチできることが多いのですが、人が横に動く場合ような映像の場合は、横につなぐステッチ方法を選んだほうがいいかもしれません。
「OMNI Importer」を使って映像を取り込んだところ。簡易的なステッチが行なわれるので、プレビュー的に活用できる。
ステッチのクオリティを高める
さて、ここからはkolor社のソフトウェア「Autopano」シリーズのアプリケーションを使って、複数の動画を繋いでいきたいと思います。ここで使用するのは、複数の動画をパノラマ動画として合成するための「Autopano Video Pro」（略称AVP）と、静止画のシーンから類似点を探して合成し、パノラマ写真を作る「Autopano Giga」（略称APG）の2つのアプリケーションです。
AVPだけでもステッチはできるのですが、重ね合わせるポイントをマーキングし、精度の高いステッチを行なうために使うのがAPGです。この2つのアプリケーションを行ったり来たりしながら、360度動画のクオリティを高めていきます。
OMNIで撮影した場合、OMNI Importerで取り込んだ映像をAVPに読み込ませると、自動的に同期を取ってくれます。
インタニヤで撮影した場合は、手動で同期を取ることが必須となっています。正確にシンクロさせるには、「音」を使う方法と「動き」を使う方法があるとお話しました。音は撮影の際に入れたクラップを使いますが、ここでは動きで同期をしてみましょう。動きの分析は少し時間がかかります。見ていくと、それぞれの動画のタイミングがだんだんと合っていくのがおわかりかと思います。
「Use audio to syncronization」をクリックすると音声で、「Use motion to syncronization」をクリックすると動きで同期を取ることができる。
同期が取れたら、今度はテンプレートを選びます。AVPにはレンズのテンプレートがあらかじめ用意されています。カメラのテンプレートはないので自分で作る必要があります。テンプレートを選ぶと、360度動画のもとになる動画が自動で生成されます。プレビュー画面ができたら、水平を取っておきましょう。まず、一番見せたいところを中心に置き、そのうえで微調整をしていきます。
AVPにはHorizon、Stich、Color、Maskの4つのタイムラインがあります。これらはそれぞれに調整ができます。タイムラインの上部には赤と青のバーがありますが、赤はレンダリング範囲を、青は調整の範囲を示しています。また、タイムラインの水色の部分は編集ができる範囲を、緑の部分はトランジション部分を示しており、グレーアウトしている部分は編集できません。
テンプレートを選択すると360度VR動画は自動で出来上がる。ただし、自動でステッチした動画には不具合が多い。タイムラインの上部にある赤と青のバーは、赤はレンダリング範囲を、青は調整の範囲を示している。
しかし、このテンプレートを使うだけではなかなかうまく行きません。動画と動画のつなぎ目であるステッチラインが合わずに、不自然な部分が発生しているはずです。グリグリ回しながら、動画を行きつ戻りつさせてみると、不自然な部分が見つかるはずです。特に、手前に人物が写っている場合などは、顔が細くなってしまうといった不具合が目につきます。
そこでここからはAPGを使って、手動で調整をしていきます。AVPのウインドウにある「Edit」ボタンを押すと、AGPが起動します。AGPが立ち上がったら、「CPキーポイントエディタ」を使って、映像のつなぎめの映像から、重なり合う部分を見つけてクリックして指定していきます。ただし、画面の似た場所に極端に遠いところと近いところがある場合は無理に打たない方がいいですし、基本的に動いている物には打たない方がいい。そのあたりに注意しながら、細かく指定していくといいでしょう。こうして修正をした結果は、AVPに戻ると反映されています。どうでしょうか。先ほどから比べるとズレが減っていることがわかるかと思います。それぞれのステッチの部分をよく確認しながら、この作業を繰り返していきます。
Autopano Gigaを使用して、キーポイントの重なり合う部分を手動でクリックしていく。緑色のポイントが指定を行なった部分。この結果はAVP側に自動的に反映される。
それでもズレが解決しない場合は、「マスク」を使って逃げる方法があります。ここではマスクを使ってみましょう。「ここは使いたい」という部分を残すようにマスクのラインを描いていくと、ステッチラインが自動的に変わります。クロップの仕方が変わるわけです。例えば人の顔部分のステッチがうまくいかない場合などは、マスクを使って余白となる範囲を広く設定してみると、ステッチの位置が変わってうまくいくことがあります。
手動でステッチの調整を行なっても、人物の顔の部分などが細くなったままというケースもある。この場合、マスクを使ってステッチラインそのものを修正するとよい。
だいぶ良くなりましたね。作品として納品する場合はもっと細かく見て、何度もこの作業を繰り返すことになります。なおAVPではスタビライザー効果をかけることができますし、OMNIで撮影した動画の場合はローリングシャッターの補正をすることも可能ですが、今回はここまでにしておきましょう。簡単に色合わせをしてシャープネスをかけて完成、とします。
完成した360度VR動画。マスクを活用して不自然な部分を取り除くことができた。最後に書き出しの設定をしていきます。サイズとコーデックビットレートを指定して書き出しをします。通常はProRes形式で出力し、他のソフトを使ってカラーグレーディングをしています。視聴方法は「GoPro VR」に設定しました。ビューアーが無料で使えます。YouTubeに上げる場合は、パノラマ動画であるということを示すメタタグをつけるのを忘れないようにしてください。
さて、そろそろ時間となってしまいました。駆け足で360度VR動画の撮影から製作までを見てきました。今後ニーズが高まっていくであろう360度VR動画に、皆さんもぜひチャレンジしてみてください。
本日はどうもありがとうございました。
取材：小泉森弥
「360度VR動画入門」講演レジュメ
谷口とものり氏の講演「360度VR動画入門」のレジュメをPDFで公開します。ただし図版類の著作権はKolor社に帰属するため、公開するレジュメには図版類を掲載していません。
図版は主にKolor社Webサイト内の「Documentation」のページから引用されています。
「360度VR動画入門」講演レジュメのダウンロードはこちらから
Kolor社 Webサイト 「Documentation」ページ
http://www.kolor.com/wiki-en/action/view/Documentation
