スマートフォン Xperiaやペットロボットのaiboといった、一般消費者にとって身近な製品で知られるソニー。同社はそういった製品だけでなく、さまざまな新技術をグループ内で研究開発しており、その一端を「Sony Technology Day」と名付けたイベントで披露しています。



12月7日、ソニーグループが取り組んでいる新技術を一挙に披露する「Sony Technology Day 2021」がオンラインで開催されました。ここでは、4K解像度の有機EL(OLED)マイクロディスプレイをふたつ搭載し、両目で8Kの高画質を実現するVRヘッドマウンドディスプレイ(HMD)など、私たち一般消費者にとって身近に感じられる技術を中心に振り返ります。

なお、「OLEDマイクロディスプレイ+低遅延HMDシステム」と、繊細な人の手を再現する「マニピュレーター」の2つの技術については、オンラインでの説明に加えて、報道関係者向けに体験の場も設けられました。それらを取材したレポート記事（執筆：山本敦氏）を掲載していますので、あわせてお読みください。

両目で8Kの“リアルワールド”。高画質+低遅延VR HMDシステム

今回のイベントで紹介された新しいVR HMDシステムは、4K解像度を実現したOLEDマイクロディスプレイをふたつ備え、片目で4K、両目で8Kの高解像度を実現。高精細な3次元空間を映し出せます。

Sony Technology Dayで披露された「OLEDマイクロディスプレイ+低遅延HMDシステム」の試作機




内蔵しているOLEDマイクロディスプレイは正方形に近く、10円玉とさほど変わらないサイズ感。非常に小さいのですが、実際に体験展示でHMDの試作機をのぞいてみると驚くほど高画質でした。

試作HMDに内蔵されているOLEDマイクロディスプレイ


これまでのHMDでは、画素境界が網目のように見えて精細感が削がれる“スクリーンドア効果”が起きていることが少なくなかったのですが、この試作機ではそれがほぼ感じられませんでした。3DCGで描かれたショールームや、女性と犬の実写映像など、ひとつひとつに立体感があって、クリアで精細な映像が楽しめます。

試作機ということで短時間の体験ではありましたが、OLEDならではの暗部の黒表現も十分に期待できそうです。

OLEDマイクロディスプレイの画素のイメージ。小型ながら多画質で“スクリーンドア効果”も従来(左)より抑えられている


特に、CGで描かれた3Dモデルの表現力の高さやリアリティに目を見張りました。デモではソニーのミラーレスカメラ「α9」の3Dモデルをショールーム風の空間で見ることができたのですが、皮革風のシボ加工を施したグリップから各ダイヤルやリングのディテールまで質感表現がきわめて高かったのです。思わず(何もない空間なのに)手を伸ばして触れようとして、デモのレクチャーをしていた解説員と一緒に笑ってしまいました。

HMD(右端)で見たミラーレスカメラ「α9」の3Dモデル(左)がリアルすぎて、つい触りたくなってしまった


内蔵しているOLEDマイクロディスプレイは、CMOSイメージセンサーの開発・製造で培った微細加工技術を生かして多画素、小型化を実現しつつ、ディスプレイ開発で培ったデバイス・回路技術も生かして開発したといいます。

また、複数のセンサーの情報を組み合わせることで、システム全体で遅延量の削減を行い、処理時間を短縮。視聴している人の頭の動きに合わせて素材のテクスチャや人の表情などを高精細にリアルタイムで表現できるようにしています。

今回のHMDのデモでは、ソニーのネックバンドスピーカー(中央下)も使われていた


ソニーのHMDといえば、過去には有機EL搭載のパーソナル向け「HMZシリーズ」があり、現在はPS4/PS5用の「PlayStation VR」が発売中。さらに、詳細は明らかになっていないものの、SIEがPS5向けの次世代VRシステムの開発を進めていることを発表しています。

今回披露されたHMDシステムは産業用途のほか、「エンタテインメント領域における活用も期待できる」としています。この技術がどのようなカタチで製品化されて我々の前に姿を現すのか、今後に注目です。

ゲームへの没入感を向上、PS5に導入した3つの技術

Sony Technology Dayでは、「PlayStation 5」(PS5)で採用している「Tempest 3Dオーディオ」や、DualSense ワイヤレスコントローラーの「ハプティックフィードバック」、「アダプティブトリガー」の3つの技術について改めて紹介しています。



Tempest 3Dオーディオは、正確なオーディオポジショニングを実現できるようDSP(デジタルシングルプロセッサー)から設計し、無数のスピーカーが配置された球体の中に入るようなイメージで、360度どこからでも音が聞こえてくるという技術です。PS5の目玉機能のひとつで、純正ヘッドセットなどの対応ヘッドホンのほか、PS5をつないだテレビのスピーカーでも体験できます。

Tempest 3Dオーディオをヘッドセットで聞くイメージ


DualSense ワイヤレスコントローラーに備わっているハプティックフィードバックは、新規開発したデュアルアクチュエーターの振動をゲーム内の状況に応じて変化させることで、触覚に訴えかける多彩な反応を実現し、没入感のある体験を提供。また、L2/R2ボタンにはアダプティブトリガーを採用しており、内部に組み込んだ小型精密ギヤと高トルクのモーターにより、ゲーム内で各種アクションに応じて、リアルタイムにパワフルな触覚を生み出します。

DualSense ワイヤレスコントローラー(左)に内蔵されている、ハプティックフィードバックの効果を生み出すアクチュエーター(右)


これらの技術を体験するには対応ゲームが必要ですが、PS5にプリインストールされているアクションゲーム『ASTRO’s PLAYROOM』でいずれも体験できます。引き続き入手しにくい状況が続くPS5ですが、手に入れた暁にはひととおり試しておきたいオススメタイトルといえます。



柔らかいモノもつぶさず持てる、最新マニピュレーター

報道関係者向けの体験展示の中で注目を集めていたのが、人の手や指の繊細な動きを再現する「マニピュレーター」です。ロボットアームとも呼ばれ、産業用途などで既に活用されている技術ですが、ソニーが新たに開発したマニピュレーターは「特性が分からない物体をロボットがていねいに扱える」のが大きな特徴です。

人の手や指の繊細な動きを再現する「マニピュレーター」を備えた人型ロボット




展示されていたロボットの手先は、計16(4×4)の突起部を備えた柔らかいパーツを備えていました。ネコの肉球よりも柔らかいこの部分には圧力センサーが備わっており、ひとつひとつの突起にどの程度の圧力がかかって変形しているかを検出可能。その圧力分布の変化から、つかんでいる物体が滑る前兆をリアルタイムに検知し、持つ力を適切に調整して落とさず持ち続ける仕組みです。

展示されていたロボットの手先には、圧力分布を検出する柔らかいパーツが備わっている


また、人間の手のひらにあたる部分には距離センサーを備え、指から物体までの距離を把握。上記の圧力センサーとの組み合わせで、適切な位置や姿勢で物体を持てるようになっています。

デモでは、柔らかいエクレアやケーキといったお菓子から、バラの花、野菜やタマゴの殻など、人の手でも気をつけて持ったほうがいいものばかりが用意されており、それらを自由に選んで持たせることができました。持っているモノを壊さず、回転しそうな方向の力を検出して落とさないように持ち続けられるのも強みです。

ソニーが開発したマニピュレーターに、柔らかいパプリカを持たせたところ。力を加えすぎて歪ませることなく、しっかりと持ち続けている


さらには、ビンの中を満たす細かなビーズを水に見立て、両手で空のコップに水(ビーズ)を注ぐという芸当もこなしていました。人の手でもビン(もしくはコップ)を落として中身をぶちまけるなど、意外と失敗しがちなシチュエーションですが、このマニピュレーターのデモではその動作を難なくこなしていました。

ビンの中を満たす細かなビーズを水に見立て、両手で空のコップに水(ビーズ)を注ぐデモの様子


このように、ソニーが新たに開発したマニピュレーターは人間の手のように繊細に物体をつかめるため、たとえば人の介護サポートや店頭での商品陳列作業といった、従来はロボットの導入が難しかったシチュエーションでの活躍が期待できるとのこと。

ソニーのロボットといえば犬型の「aibo」や二足歩行できる「QRIO」などエンタメ要素が色濃いものを思い浮かべますが、今回の新技術は「人の生活を豊かにするロボット技術」の実現に向けた新しい一歩といえそうです。

Sony Technology Dayではこのほかにもさまざまな技術を紹介していました。それらを公式動画とともに簡単に見ていきましょう。

スポーツなどの人の動きを解析・映像化する技術





実写映像とCGをリアルタイムで合成する「バーチャルプロダクション」





高画質と制作効率を両立、超解像技術のRay Tracingへの応用





車載LiDARやドローンなどに応用できる積層型SPAD距離センサー





センシング技術で地球の“異変”を知らせる「地球みまもりプラットフォーム」