ニンテンドーDSのゲームをNintendo Switchでプレイ可能にしてARで立体映像を浮かび上がらせる謎技術が誕生

エミュレーターと3Dモデル抽出ツール、レンダリングツールを使用し、Nintendo SwitchでニンテンドーDSのゲームをプレイしつつ立体映像も表示するというとんでもない技術が公開されました。

GitHub - zhuowei/DSReality

https://github.com/zhuowei/DSReality

Zhuowei Zhang氏が公開した映像を見ると、画面の左側にマリオカートDSの映像が、右側にNintendo Switchが映っているのが確認できます。

DS emulation in Augmented Reality:

Displays game as a holographic 3D model.

- DS emulated with melonDS (iOS port from rileytestut's Delta)
- 3D model extracted with scurest's amazing MelonRipper tool
- rendered with iOS #RealityKit#AugmentedReality #ARhttps://t.co/1blhyamLbo pic.twitter.com/WgN3bnyVy2— Zhuowei Zhang (@zhuowei) June 21, 2023

Nintendo SwitchにはQRコードを表示したスマートフォンがひもでくくりつけられており、Nintendo Switchの上部にニンテンドーDSの映像がリアルタイムで立体表示されている状態。これらはiPhoneの画面上に再現したゲーム映像とAR映像です。



風景、キャラクター、アイテムボックスなどが立体映像で確認できます。マリオカートの操作自体はNintendo Switchで行っている模様。



「ポケットモンスター ブラック」も表示できますが、背景がややおかしなことになっています。これは、マリオカートDSで使用されるアングルでテストを行ったためだとのこと。アングルの違う別のソフトではモデルを切り抜くシェーダーを削除しないと何も表示されないとのことです。



Zhang氏はニンテンドーDSのエミュレーターであるmelonDSとDeltaを使用してゲームをiPhoneで動かしつつ、ゲームから3DモデルをリッピングするためにMelonRipperを使用し、AppleのAR作成キットであるRealityKitを用いてレンダリングを行っているとのこと。

なお、この技術はあくまでコンセプトだそうです。記事作成時点では、数分後にアプリがクラッシュする問題が発生しているそうです。