カリフォルニア大学アーバイン校の研究者グループが、光学式マウスのセンサーを使用して微妙な振動を捉え、可聴データに変換できる方法を編み出しました。この手法には「Mic-E-Mouse」という名前が与えられています。

Mic-E-Mouse

https://sites.google.com/view/mic-e-mouse

Motion sensors in high-performance mice can be used as a microphone to spy on users, thanks to AI - Mic-E-Mouse technique harnesses mouse sensors, converts acoustic vibrations into speech | Tom's Hardware

https://www.tomshardware.com/tech-industry/cyber-security/high-performance-mice-can-be-used-as-a-microphone-to-spy-on-users-thanks-to-ai-mic-e-mouse-technique-uses-mouse-sensors-to-convert-acoustic-vibrations-into-speech

「Mic-E-Mouse」は、デモンストレーション映像がYouTubeで公開されています。

Mic-E-Mouse Pipeline Demonstration - YouTube

「1、2……」と男性が数字を数え上げているところにマウスが置かれています。



このマウス内のセンサーが振動を捉えています。生データは、音声とはほど遠い状態。



「Mic-E-Mouse」の特徴はこの後の段階にあり、連続した信号処理と機械学習技術で構成されるパイプラインによって音声の再構築を行うことで、男性が読み上げていた数字が聞き取れるようになりました。



研究チームによると、「Mic-E-Mouse」で利用しているような音声の盗聴は、消費者向けに販売されているマウスに搭載されているセンサーで十分に可能。今後、処理技術とセンサー性能が向上すると、さらに安価なマウスまで対象になってくるとみられています。