Googleが、2024年5月14日に開催した開発者カンファレンス「Google I/O 2024」で、AIモデルのGeminiとAndroidをより深く統合させることで、動画からの検索やPDFの要約、銀行員などを装って個人情報を要求する詐欺への警告などの機能がスマートフォンに搭載されることを発表しました。

I/O 2024: New ways to experience Google AI on Android

https://blog.google/products/android/google-ai-android-update-io-2024/

Googleは今回の発表イベントで、Androidアプリ上にGeminiをオーバーレイ表示させられる機能や、Androidの内臓モデルGemini Nanoのアップデートによるマルチモーダル機能の実装などについて発表しました。

まず、使用中のアプリの上にGeminiを表示させられるようになることで、ユーザーはAIが生成した画像をメッセージやGmailに直接ドラッグ＆ドロップしたり、「このビデオに質問(Ask this video)」をタップしてYouTubeの映像から特定の情報を探したりできます。

また、有料のGemini Advancedを利用しているユーザーには、閲覧中のPDFをAIが要約する「このPDFに質問(Ask this PDF)」というオプションが追加され、すべてのページに目を通さなくてもその内容を把握することができるようになります。このアップデートは、今後数カ月かけて数億台のAndroidデバイスに提供される予定とのこと。



加えて、Androidに組み込まれたAIであるGemini Nanoが完全なマルチモーダルに対応し、AIがテキスト入力だけでなく光景や音、会話など、Android使用シーンのコンテキストをより多彩に理解できるようになります。このアップデートは、2024年後半にPixelシリーズの端末に展開されます。

Gemini Nanoがマルチモーダルになることで、画面の情報を読み上げるユーザー補助機能であるTalkBackも強化され、目の不自由なユーザーがより豊かな情報を受け取ることが可能になります。



詐欺による世界的な被害は年々増加しており、世界43カ国の被害をまとめた2023年の調査報告では、詐欺や個人情報の窃取などによる被害は年間1兆ドル2600億ドル(約200兆円)と見積もられています。

GoogleはGemini Nanoにより、電話詐欺によく使われる会話パターンを解析して、本物の銀行員は決して行わないようなパスワードやPINなどの個人情報の要求、緊急の資金移動やギフトカードでの支払いの指示などを検知したらアラートを表示する機能のテストを実施しています。この機能はすべてスマートフォン内で完結するため、通話のプライバシーは維持されるとのこと。このオプトイン機能については、2024年後半にさらに詳しい情報が明かされる予定です。



Googleは、今後GeminiとAndroidの統合をさらに進めて、スマートフォンのユーザー体験のあらゆる側面にAIを組み込んでいくとしています。