米Appleは2024年後半にiOSやiPadOS、visionOSに搭載予定のアクセシビリティ機能について発表し、iPadやiPhoneでアイトラッキングが利用可能になると明らかにした。

iPad、iPhone向けのアイトラッキングは、AIと前面カメラを活用するもので、追加のハードウェアやソフトウェアは不要。ユーザーは視線だけでアプリの各要素をナビゲートでき、アクセシビリティの「滞留コントロール」を組み合わせることでタップ操作などを視線操作だけで行なえるという。

前面カメラを使ったセットアップとキャリブレーションは数秒で完了。機械学習はデバイス上で行なわれ、アイトラッキングの設定や制御に使われるデータはデバイス上にのみ保存され、Appleと共有されることはない。

また、耳の不自由なユーザーがiPhoneで音楽を体験するための新しい方法だという「Music Haptics」も搭載予定。iPhoneに搭載されているTaptic Engineが楽曲の音声に合わせて細かな振動やタップなどをフィードバックするもので、Apple Musicで配信されている数百万曲の楽曲に対応する。また開発者向けのAPIも用意される。

そのほか、乗り物の動きに合わせて画面にドットを表示することで乗り物酔いを軽減するという「Vehicle Motion Cues」やCarPlayのボイスコントロール、アクセシビリティ機能の強化、visionOS向けには会話をリアルタイムで文章化するライブキャプション機能なども搭載される予定。

visionOSに搭載予定のライブキャプション機能

「拡大鏡」アプリにはリーダーモードが追加される