Microsoftの「HoloLens(ホロレンズ)」で初音ミクと現実世界でデートする強者が登場
二次元世界のアニメや漫画のキャラクターと「あんなことやこんなことをしたい」と妄想することはあっても、実際にそれを実現するために最新のテクノロジーやプログラミングの技術などを駆使してあの手この手で方法を模索したことがあるという人は少ないはず。しかし、開発者のあるしおうねさんは現実世界で初音ミクとデートするため、自身のプログラミング技術とHoloLensを駆使して念願のデートを実現しています。
「AR(拡張現実感)で色々やっているあるしおうねです」という開発者の自己紹介からムービーがスタート
2012年にあるしおうねさんは自作したARメガネを使って初音ミクとデートしていたのですが……
2017年にはMicrosoftのHoloLensが日本でも入手できるようになりました。
そこで、初音ミクとより洗練されたデートを楽しむべく、HoloLensを使って再びARデートに挑戦したようです。
何もない場所で「Switch on」と言うと……
初音ミクを召喚できます。
現実世界に降臨した初音ミクはこんな感じ。表示されている初音ミクのモデルは、箔鳥居さんが作成したMMDだそうです。
HoloLensを装着したまま歩くと、初音ミクが横に並びながらついてきます。
今回のARデートではHoloLensを使用しているわけですが、HoloLensは周囲環境の形状を計測するので……
階段などの立体物を認識可能。
よって、段差もしっかり認識して初音ミクが階段の上り下りを行います。
さらに、指を使ったジェスチャーで頭をなでることも可能。
こんな感じで指を1本伸ばし……
左右に振ると頭をなでられます。ただし、「まだ不自然なので何とか手を正確に検出したい所です」とのこと。
続いて、歩き回るのも疲れたのでベンチで一休みすることに。
HoloLensを装着したあるしおうねさんがベンチに座りました。
視点が初音ミクよりも低くなり、ベンチに座っていることがわかります。
すると、HoloLens装着者の座った位置を検出し……
なんと、初音ミクが隣に座りました。
ベンチと3DCGモデルが重なることもなく、しっかりベンチに座っている様子がわかります。
その他、顔を近づけると……
特殊なアクションを見せてくれる様子。
ベンチにちょこんと座る初音ミク。
さらに、ムービーの最後にはベンチではなく向かい合うようにして座るテーブル席に、あるしおうねさんが腰を下ろします。
すると、HoloLensを装着しているあるしおうねさんの目の前にあるイスに初音ミクが移動し、座りました。HoloLensの高度な物体検出機能のおかげで、違和感なく初音ミクがイスにも座れるようになっているわけ。
開発者のあるしおうねさんは、「HoloLensの登場で、自作のARメガネより100倍くらい楽に、より高性能なミクさんが作れるようになりました。データベースにアクセスして、会話ができるミクさんも出来そうです」記しています。
なお、「Switch off」と言うと初音ミクが消える模様。
ムービーの最後にはHoloLens装着者の視点が徐々に低くなっていくのですが……
絶妙なタイミングで初音ミクがポーズを変える、という動作を見せてくれます。
このムービーの原型となっているのが以下のムービー。HoloLensの代わりにヘッドマウントディスプレイにモーションセンサーデバイスのKinectを取り付けた自作ARゴーグルを使用しています。手を使ったアクションは最新版よりも多めになっています。
初音ミクとデートしてみた − Date with Hatsune Miku in Augmented Reality environment - YouTube
以下のムービーは初めて初音ミクがイスに座れるようになった際のもの。ムービーによると周囲の環境認識には独自開発の技術を用いており、ARマーカーなどで物体を認識させているわけではないことがわかります。
初音ミクと暮らしてみた ― Stay with Hatsune Miku in Augmented Reality environment - YouTube
さらに、顔を近づけてキスする動作は以下のムービーにあるシステムを応用して作成したようです。
Kissing Hatsune Miku in Augmented Reality environment――初音ミクとキスしてみた - YouTube
過去にはネクタイを触ったりハイタッチしたりとさまざまなインタラクティブなアクションを実現しているので、HoloLensを装着している人の手の動きを正確に検出できるようになればより高度なデートが可能になりそうです。
