透明なペラペラシートをタブレットにのせてめくると物理レイヤーとして操作できる「FlexSense」
16個のセンサーを搭載した透明で柔らかいシートをタブレットなどのディスプレイの上に置くだけで画面上の表示を変換、Photoshopなどの物理的なレイヤーとして使用して画像の2.5D加工も可能になるという、Microsoftが開発した新しい技術が「FlexSense」です。
FlexSense: A Transparent Self-Sensing Deformable Surface - Microsoft Research
FlexSenseとは一体何なのか、ということは、以下のムービーから確認できます。
FlexSense: A Transparent Self-Sensing Deformable Surface - YouTube
カメラを使った複雑な装置などを必要とせず、タブレットなど、既存のディスプレイに載せるだけでディスプレイの表示を別のものに変えてしまえるシートがFlexSenseです。以下の画像では航空写真が表示されていますが……
FlexSenseをペラッとめくると、写真でない地図が現れました。
もちろんシートの上から操作も可能。タッチペンで航空写真の一部に赤丸をつけています。
マップ上にもちゃんと表示されていました。
シートはさまざまな方向からめくれます。
ということで、これがFlexSense。本体の16箇所に圧力が加わることで電圧が発生する圧電センサーと銀導体が使われています。
シートは透明で下にあるものをハッキリと見せるだけでなく、柔らかいのでグニャグニャと曲げることができます。
この曲げ伸ばしを、16箇所にあるセンサーが感知してくれというわけです。シートの右側を持ち上げると、右側にある7個のセンサーが反応。
曲げたまま持ち上げると本体上下にあるセンサーが反応。どれくらい曲げられているかも細かく感知しています。
これまでのセンサーはカメラなどなしで立体を正確に感知できませんでしたが、新たに開発した2つのアルゴリズムを使って、Microsoftはこれを可能にしました。
FlexSenseの開発において、まずMicrosoftはシートの形状をステレオカメラで撮影し、立体の情報を記録。
画像上の緑のポイントが3Dトラッキングされた部分で、赤いポイントが曲がらない部分です。
ここから2つのアルゴリズムを導きだしました。
FlexSenseを使うと、画面にフィルター効果をかけることが可能。モノクロ写真かと思いきや、FlexSenseをめくるとカラー写真が広がっていました。
モザイク処理をかけることもできます。
Photoshopで画像を加工する際の物理的なレイヤーとしても使えます。
FlexSenseの下にあるディスプレイには加工前の写真が表示されているので、ペラペラとシートをめくって確認しつつ加工が可能。2.5Dでの編集作業ができるようになります。
その他、クロスワードパズルを楽しんだり……
加工前／加工後の映像を両方とも楽しんだり。
ただめくるだけでなく、シートをめくるという動作に「画像を動かす」などの意味を持たせることもできます。
パラパラ漫画を作成。
FlexSenseを持ち上げることで漫画を再生したり巻き戻したりという動作を行えます、
これまでになかった新しいゲーム方法も生まれます。
ゲームのコントローラーとして使い、画面上で魔法のじゅうたんを操作することも可能です。
