Apple初の空間コンピューティングデバイス「Apple Vision Pro」は、Appleとしては初めてのMR(複合現実)に対応したヘッドセットです。税込60万円近くという高価格帯デバイスな一方で、「ロック解除用のパスコードを忘れると二度と起動できなくなる」「何もしていないのにガラスにヒビが入った」などの不具合も報告されていますが、Apple Vision Proでユーザーが文字を入力する際の目の動きを追跡する「GAZEploit」という攻撃が新たに発見されたと研究者が報告しています。

[2409.08122] GAZEploit: Remote Keystroke Inference Attack by Gaze Estimation from Avatar Views in VR/MR Devices

https://arxiv.org/abs/2409.08122

GAZEploit

https://sites.google.com/view/Gazeploit/



Apple Patches Vision Pro Vulnerability to Prevent GAZEploit Attacks - SecurityWeek

https://www.securityweek.com/apple-patches-vision-pro-vulnerability-to-prevent-gazeploit-attacks/

「Apple Vision Pro」がどのようなデバイスなのかは、以下の開封記事を見るとよくわかります。

約60万円のApple初となる高級MRヘッドセット「Apple Vision Pro」がついに日本で発売されたので開封＆セットアップしてみた - GIGAZINE



Apple Vision Proの特徴の1つが、視線をカーソル代わりに使う「アイトラッキング」を搭載していることです。例えば、視界の左に「はい」、右に「いいえ」と表示されて応答ができたり、目の前に表示されたキーボードを視線だけで入力できたりします。アイトラッキングによる入力はユーザーエクスペリエンスを向上させるだけではなく、パスワードを入力する際に「手のジェスチャー」や「音声認識」に比べて、周囲の人やビデオ通話している相手などにパスワードの内容を知られにくいという利点もあります。

しかし、フロリダ大学とテキサス工科大学の研究チームは、Apple Vision Proのアイトラッキング機能に脆弱(ぜいじゃく)性があったと発表しました。Apple Vision Proには、ビデオ通話や会議中などでユーザーの顔を基にしたリアルなアバターを用いる「ペルソナ」という機能があります。研究者によると、視線でキーを入力しようとする人間の動きをペルソナからキャプチャして分析することで、入力されたキーを再構築できてしまう脆弱性が見つかったとのこと。研究者らは、この脆弱性を用いて入力した文字を盗み取る攻撃(エクスプロイト)を「GAZEploit」と呼んでいます。

以下は、GAZEploitのデモビデオです。左上のユーザーは、他の人から見ることができる仮想空間上のアバター、すなわちペルソナです。ユーザーは視線を動かすことで自分の視界にしか見えていないキーボード(中央)の文字を見て入力していますが、その動きを分析することで、入力内容が右上のように映し出されています。

GAZEploit, unblurred version of demo video - YouTube

GAZEploitは、個人の記録から抽出された「目のアスペクト比」と「視線推定」という2つの生体認証を利用しています。読み取った結果を分析して、タイピングの動きを、ビデオの視聴やゲームのプレイといった他のApple Vision Pro関連アクティビティと区別します。そして、抽出した視線の動きを仮想キーボード上でマッピングして、潜在的なキーストロークを決定するという仕組みです。研究によると、タイピング中は視線の方向が集中して周期的パターンになりやすかったり、まばたきの頻度が減少したりするそうです。



GAZEploitの研究は30人の個人データでテストされ、ユーザーがメッセージやパスワード、URL、メールアドレス、パスコードを入力したタイミングについて高い精度で検知しました。研究者は「私たちは、視線の安定性を計算し、視線の動きを分類するための閾値を設定するアルゴリズムを開発しました。私たちのデータセットでの評価では、タイピングセッション内でのキーストロークの識別における精度は85.9％、再現率は96.8％でした」と語っています。

AppleはGAZEploitを「仮想キーボードへの入力はペルソナから推測される可能性がある」として認識しており、visionOS 1.3のリリースで「この問題は、仮想キーボードがアクティブなときにペルソナを一時停止することで解決されました」と発表しています。2024年6月には、Apple Vision Proを使用しながらとあるウェブサイトに訪問させるだけで、そのユーザーの視界にクモやコウモリなどを大量発生させられるという「史上初の空間コンピューティングハッキング」も研究者によって報告され、その際もAppleは素早く修正パッチをリリースしています。



セキュリティ関連のニュースを配信するCyber Security Newsは「Appleはこれらの脆弱性を迅速に修正しましたが、VR・AR機能が拡大するにつれて、新たな攻撃ベクトルが出現し続ける可能性があることを思い起こさせます。これらの研究は、VR技術が普及するにつれて、強力なプライバシー保護策が必要になるという点を強調しています。没入型システムは、ますます豊富な行動データを収集するため、ユーザーエクスペリエンスとデータ保護のバランスをとることが、広範な導入にとって重要になります」と述べています。