ソニーが「Sony Technology Day」で発表した8つの技術まとめ 映像/VR/超解像/プレステ5/触覚/3D音響/自動運転/LPWAなど

2021年12月7日、ソニーグループは、ソニーのテクノロジーを紹介する「Sony Technology Day」(ソニーテクノロジーデー)をオンラインで開催した。そこで紹介された「感動を生む、テクノロジー」をテーマにした8つの技術やサービスの概要を紹介しよう。

●「Sony Technology Day」で発表した8つの技術

1). Crystal LED とシネマカメラ



2). EPTS と Data Visualization Technology



3). OLED マイクロディスプレイ+低遅延 HMD システム



4). 超解像技術の Ray Tracing への応用



5). プレイステーション5に導入した3つの没入技術



6). 自動運転などでキーとなる「積層型SPAD距離センサー」



7). 繊細な人の手を再現する世界初の「マニピュレーター」技術



8). 地球をみまもる「地球みまもりプラットフォーム」



なお、ソニーは自社を「テクノロジーに裏打ちされたクリエイティブエンタテインメントカンパニー」と位置づけ、「クリエイティビティとテクノロジーの力で、世界を感動で満たす」ことを「Purpose」(存在意義)としている(今回は特に「Purpose」というワードが何回か用いられていた)。
そして、これらに共通するキーワードは「テクノロジー」。大きなカテゴリーとして「フィジカルとバーチャルの融合」「リアリティの追求」「人・社会・地球への貢献」の3つを掲げた。



■8つの技術　ハイライト動画：

●フィジカルとバーチャルの融合

●Crystal LED とシネマカメラ

最初に登場したのは映像製作現場で活用される「Crystal LED とシネマカメラで実現するバーチャルプロダクション」だ。映画やドラマ、動画撮影にCG合成が多用されていることはご存じかと思う。そして従来は、グリーンバックで俳優が演じる映像と、バック(背景)の映像を合成して作成されてきた。課題はグリーンバックでは俳優はリアリティを持って演じることが難しいこと。そこでグリーンバックではなく背景映像を巨大な高精細ディスプレイで表示し、それを俳優とともに撮影する手法が用いられるようになってきた。それが、ソニーの提案する「バーチャルプロダクション」だ。既にソニーグループのソニーPCLで導入がはじまっていて、一時的に東宝スタジオの中にも設置され、ソニーPCLが運用している。



グリーンバックは使わず、大型のディスプレイに写し出された背景映像とともに演者を撮影する
前述のとおり、バーチャルプロダクションは、実写映像とCGをリアルタイムで合成する新しい映像制作技術の総称。今回紹介された技術は「In-Camera VFX」。これはカメラの動きと連動させた3DCG映像を、スタジオに設置した LEDディスプレイに背景として映し出し、その前の演者を撮影する(グリーンバックでの撮影に必要なCG合成の手間、天候や時間・場所などの制約がない)。しかし、これを違和感なく実現するには、高輝度・高精細なディスプレイ、それを撮影するシネマカメラ、カメラの動きに連動して背景が変わっていく映像システムが必要だ(カメラの構図に合わせて背景が立体的に変わっていく必要がある)。





「Crystal LED」は、ソニー独自のLED制御技術とブラビアで培った信号処理技術を融合したLEDディスプレイ。圧倒的なリアリティの高精細な映像を高輝度かつ広視野角で映し出すことができる。
デジタルシネマカメラ『VENICE 2』は、新開発の8.6Kイメージセンサーを搭載、高い解像力と広色域による豊かな表現力を備え、幅広い輝度条件下でも豊かな階調での表現が可能なため、高精細ディスプレイに映し出された映像をより現実の描写に近い形で撮影することができる。
ソニーのグループとしての強みは、ディスプレイとシネマカメラ、そしてその連動のシステムを自社ですべて開発しているところだ。色再現や階調表現における親和性が高く、よりリアリティのある映像制作を実現することができる。さらに、ソニーグループ内外のクリエイターや実際の撮影に携わるエンジニアとの連携も深い。

●EPTS と Data Visualization Technology

スポーツシーンにおいて、すべてのパフォーマンスを可視化する。それが「EPTS と Data Visualization Technology」技術だ。イベントで紹介され、報道向け体験会で展示されていたのはサッカーの事例。





報道向け体験コーナーの様子(HMDシステムは試作品)
専用のトラッキングカメラで撮影された試合映像から選手やボールなどの動きを捉え、ミリ単位の正確性で迅速に骨格情報やプレーデータを収集、バーチャルで忠実に再現することができる。行ってみれば実際のプレイの映像をCGに置き換え、試合のリプレイ映像として忠実に再現することができる。また、CGに置き換えなくても、リアル映像に対してボールの軌道や選手のパフューマンスデータ、スタッツなどの合成表示も可能だ。





用途としては、チームによる戦術やパフォーマンス分析、スポーツバーなどで再現してファンのコミュニケーション活用、トレーニングへの反映などが考えられる。また、サッカーゲームが世界的に人気だが、従来は個々のプレイヤーのプレイデータの組合せで構成されていたが、リアルなプレイから得たデータを追加していくことで、無限のパターンが生成されていく可能性もある。

この技術には、ソニーのグループ会社 ホークアイ イノベーションズ（Hawk-EyeInnovations Ltd.）の「EPTS」（エレクトロニックパフォーマンストラッキングシステム)“SkeleTRACK（スケルトラック）”が使用されている。EPTSなどから得られたデータは「Data Visualization Technology」（データビジュアライゼーションテクノロジー）を活用することで、バーチャルリクリエーションで映像化することができる。
ホークアイの得意とする高度な画像処理技術・AI 認識技術と、ソニーの得意とする放送用途の品質で映像を扱う技術やイメージセンサー関連技術の融合により、選手の姿勢まで含めたすべてのプレーがデータ化され、今まで捉え切れなかったパフォーマンスを可視化する。

また、サッカーのゴール判定やVAR、サッカーに限らずテニスのチャレンジシステムなど、あらゆるスポーツに展開できる可能性もある。(現在はまだチャレンジシステムで利用されていない)
同社は「今後はスポーツに限らず、さまざまなエンタテインメントビジネスに応用・貢献することを目指す」としている。



●リアリティの追求

●OLED マイクロディスプレイ+低遅延 HMD システム

ヘッドマウントディスプレイが新しい世代に突入していく。報道向け体験会では初めての没入感領域を体験してきた。



報道向け体験会で稼働展示されていたOLED マイクロディスプレイ。500円硬貨と比較、こんなに小さくても4K+4Kの高精細


OLED マイクロディスプレイを組み込んだ低遅延HMDシステムで映像体験
この技術は、現実世界を超える没入感を実現する「OLED マイクロディスプレイ+低遅延 HMD システム」。
ディスプレイの片側で4K、両眼で8K(4K+4K)の高解像度を実現した1インチの高精細ディスプレイを搭載したVRヘッドマウントディスプレイ(HMD)が展示されていた。高精細なCG映像では細かな文字表記も読み取ることができた。特に感銘を受けたのはステレオカメラで撮影した実写映像。3次元的描写の立体感は圧倒的だった。



「Sony Technology Day」では、CMOSイメージセンサーの開発・製造で培った微細加工技術を生かした多画素、小型化と、ディスプレイ開発で培ったデバイス・回路技術を生かし、高画質化を実現したOLEDマイクロディスプレイをVRヘッドマウントディスプレイ(HMD)。



複数のセンサーの情報を組み合わせることで、システム全体で遅延量の削減を行い、処理時間を短縮。視聴している人の頭の動きに合わせて素材のテクスチャや人の表情などを高精細にリアルタイムで表現でき、産業用途のほか、エンタテインメント領域における活用も期待できる。

●超解像技術の Ray Tracing への応用

ニューラルネットワークを活用した高解像化技術。高画質で、かつ制作の効率性も両立する「超解像技術の Ray Tracing への応用」。



ソニーは1990年代からの機械学習を用いた映像の研究開発を行ってきた。そこで培ったノウハウを活用し、限られた演算リソースの中での性能の最大化や、あらゆるシーンや品質の映像に対して様々な観点からの高精度な高解像度化を実現する技術。



データ量の多い 3Dコンテンツにおいては、キャラクターの形状、テクスチャ、照明などの情報を用いて利用する光線の数を絞ってレンダリングすることで、制作時間を数百分の一に短縮することができる。ソニー・ピクチャーズエンタテインメントと連携し、クリエイターの声を反映しながら開発を進めている。2Dから3Dへ応用範囲を広げ、エンタテインメント領域における幅広い展開を目指す。

●プレイステーション5に導入した3つの没入技術

息を飲む没入感「プレイステーション5 に導入した3つの技術」を紹介した。
プレイステーション5 に搭載している3つの技術とは、Tempest 3D オーディオ、ハプティックフィードバック、アダプティブトリガーの3つ。



「Tempest 3D オーディオ」は、非常に正確なオーディオポジショニングを実現できるよう DSP（デジタルシングルプロセッサー）から設計し、無数のスピーカーが配置された球体の中に入るようなイメージで、360 度どこからでも音が聞こえてくるという技術。表現力豊かに感触を伝えるハプティックフィードバックは、新規開発したデュアルアクチュエーターの振動をゲーム内の状況に応じて変化させることで、触覚に訴えかける多彩な反応を実現し、没入感のある体験を提供している。



動画内でも3Dオーディオのオン/オフの違いを実体験できる
また、DualSense ワイヤレスコントローラーの L2/R2 ボタンに採用したアダプティブトリガーは、内部に組み込んだ小型精密ギヤと高トルクのモーターによりゲーム内のアクションに応じてパワフルでリアルタイムの触覚を生み出すことを可能にしている。



ハプティック・フィードバック・アクチュエータのしくみも紹介。

●人・社会・地球への貢献

●自動運転などでキーとなる「積層型SPAD距離センサー」

微弱な光エネルギーを捉え、高い精度で周囲の物体との距離を検出できる、光の粒から世界を捉える「積層型 SPAD 距離センサー」。





光を検出して電気信号に変換する SPAD(Single Photon Avalanche Diode)画素、電気信号を伝達する Cu-Cu（カッパー・カッパー）接続、伝達された信号から測距処理を行う回路などを搭載したロジック回路の主に3要素で構成される。CMOSイメージセンサーの開発で培った強みを生かした。1つのチップで、近距離から遠距離まで高速かつ高精度な距離測定を実現する。



1チップで実現した驚異の集積技術
同社は「車載LiDARの検知・認識性能の進化に貢献し、安心・安全なモビリティ社会の実現を目指す」としている。

●繊細な人の手を再現する世界初の「マニピュレーター」技術

未知の物体もロボットがやさしくつかむことができる技術。指先で検出した圧力分布の変化から物体の滑りの前兆をリアルタイムに検知。適切に物体を持つ力を調整できるため、滑り落とすことなく物体をつかむ。







また、距離センサーにより、指から物体までの距離を把握できるため、適切な位置や姿勢で物体を持つことができる。人間の手のように繊細に物体をつかむことができるため、従来ロボットの導入が難しかった新しい領域において、人間の仕事を手伝うことが期待できる。(関連記事「【速報】ソニーが世界初のロボットハンド技術を披露　未知の物をやさしく壊さずつかむマニピュレーター」)
同社は「AIと高度なセンシング技術をロボットに組み込むことでマニピュレーターの能力を強化し、人の生活を豊かにするロボット技術の開発を続けていく」としている。

●地球をみまもる「地球みまもりプラットフォーム」

地球上のあらゆる場所をセンシングし、環境問題、災害などの異変の予兆を察知して問題の発生を未然に防ぐしくみを研究。実現すれば、人々に異変を事前に知らせることで、サステナビリティに繋がる行動を促す。



水分量測定が可能な土壌水分センサー、LPWA(Low Power Wide Area)の無線通信規格 ELTRESTM(エルトレス)、AI を活用した予兆分析技術など、ソニーグループの技術を活用して構成される。フィールドワークや実証実験を通じて、プラットフォームと持続可能な未来の実現に向け、取り組んでいく。