50Mbpsで全方位ビデオサービスを提供するという挑戦

MTMzMjM3MzA1MzQ2NDIwNzA2_0

フェイスブックが360度VRを含め、動画で大きな存在になろうとしている。彼らの新しいブログの投稿には、フェイスブックの没入的なビデオクリップのサポートの背景に何が起きているのかが少し説明されている。

事情を知らない方のために言っておくと、360度ビデオとは全方位で録画されたもので、視聴者があたかもそこにいるかのようなエクスペリエンスを提供するものだ。現実のような知覚を得たり、本当のVRの様に実際に動きまわるような事は出来ないが、これはあくまで手始めだ。

またこれは今実現可能な手っ取り早いVRの形でもある。もしヘッドセットがなくても、ブラウザで360度ビデオを観ることが出来る。頭を動かすかわりにマウスをドラッグすることで視点を変えることが可能だ。スマートフォンの場合でも、端末を動かせばそれに応じて視点を変えることが出来る。

この事はつまり、15億人のフェイスブックユーザーが基本的なVRを使えるようになるという事を意味する(Youtubeもこの為のチャンネルを用意している)。

360度動画が真のVRへの過程だとしても、スムーズかつ安定的なエンドユーザーのエクスペリエンスを実現する為には、多大なエンジニアリングを要する事は、フェイスブックがブログで述べているとおりだ。

360度ビデオへの挑戦

エンドユーザはなんとも思わないかも知れないが、製作者が動画を上げることは結構なチャレンジを要する。それが360度映像ともなると殊更だ。

3次元の地球を2次元の地図に落としこむようなものであり、データのサイズも相当なものだ。フェイスブックのエンジニア、イブジェニー・クジアコフとデイビッド・ピオは、この分野をコーダーにとっての「やり甲斐のある遊び場」だと言っている。

この問題について、開発者たちは正四方形マッピングを使うことで解決している。これはCG技術のメインストリームだ。このマッピングではジオメトリの歪みが取り去られ、全方向の尺度が同じになり(つまり球体ビデオがスムーズに再生される)、イメージ投影のプロセスの一部が簡略化される。

360度ビューが正四方形マッピングされるということがどういうものかは、以下を見てもらえればわかるだろう。

MTMzNzQ1MTAwNjcxOTkzODY2

「正距円筒図的な画像を正四方体的に表現するため、特殊なビデオフィルタを使いピクセルごとの値を計算する」とクジャコフとピオは語る。「計算量は相当なものだ。たとえば10分間の360度ビデオを再生するために3000億ピクセルのマッピングが必要となる」

上部1/4の正距円筒図形(3Dを2Dに投影したもの)が正方形の上面に、下部1/4が正方形の底面に、真ん中の50%が正方形の側面にきて、全体を構成するが、1フレームあたりの情報は25%減少する。

球状動画の各フレームを単純に正方形に投影する感じだ。

MTMzNzQ1MDE3NDU3MDEyNzA2

処理に必要とされるもの、そして今後の展望

クジャコフとピオは360度ビデオを保存するために必要となる技術的な詳細についても教えてくれた。1時間のビデオクリップで22GBのストレージが必要となるが、立体的なもののとなると44GBにもなる。かなりの容量だ。

「カスタマイズされたビデオフィルタのおかげである程度のビットレートの減少はされている。エンコーディングにおいても同じ取組がなされている。動画を分割し、複数のマシンで手分けして処理し、映像と音声のずれを起こさずにそれをまた一つにするのは簡単なことではない。大容量の360度ビデオを許容範囲の時間内に処理するために、エンコーディングは分散処理されている」

360度ビデオはFBの莫大なインフラとネットワーク化された処理能力によって支えられている。CPUやメモリをフル活用するためのビデオフィルタもフェイスブックのエンジニアたちによって作られた。

改善するべき点はまだある。たとえばアップロードした時点ではそれが360度ビデオかどうか自動的に判定できない。だがクジャコフとピオによればチームは大きく進歩しているという。より高い解像度、真の3D(ステレオスコピックな)動画が実現するのも遠い日のことではないだろう。これまで多くのキーとなる課題は解決されてきた。近い将来、360度ビデオがJPEGやGIFなどの様に一般的なものになるだろう。

画像提供:Facebook

David Nield
[原文]