AppleはAIアシスタント「Apple Intelligence」の英語版を既にリリースしており、音声アシスタントの「Siri」でもApple Intelligenceによる高度な応答を出力できることをアピールしています。ところが、「Siriにスーパーボウルの歴代優勝チームを尋ねるテスト」の結果、かなりの割合で間違った回答を出力することが明らかになりました。

One Foot Tsunami: Not So Super, Apple

https://onefoottsunami.com/2025/01/23/not-so-super-apple/

Apple Intelligenceを使わない従来のSiriに「第8回スーパーボウルの優勝チームは？」と尋ねた結果が以下。従来のSiriの場合、直接回答を教えてくれるわけではなく、質問内容と関連のあるウェブページを複数件提示してくれました。



従来のSiriの場合、直接答えることが難しい質問の場合はウェブ検索の結果を伝えてくれます。一方で、Apple Intelligence対応版Siriの場合はApple Intelligenceによって生成された回答が優先表示され、「Apple Intelligenceにとって難しい質問」の場合はChatGPTによる回答が表示される仕組みになりました。

ソフトウェア開発企業「Rogue Amoeba」のCEOを務めるポール・カファシス氏は、Apple Intelligence対応版Siriの性能を調査するべく、「歴代スーパーボウルの優勝チームを尋ねる」というテストを実施しました。

カファシス氏が第1回から第58回までのスーパーボウル優勝チームを順番に尋ねた結果、Apple Intelligence対応版Siriは58回中20回しか正しい回答を出力せず、残りの38回は間違った回答を出力しました。つまり、正答率はわずか34％だったというわけです。

Apple Intelligence対応版Siriに「第8回スーパーボウルの優勝チームは？」と尋ねた結果が以下。従来のSiriではウェブ検索結果が提示されましたが、Apple Intelligence対応版Siriでは対戦チームのロゴマークや試合日程に加えて両チームの得点も表示されています。しかし、表示されている内容は2018年に開催された第52回スーパーボウルのものであり、質問内容とまったく異なる回答を提示しています。



2026年2月8日に開催予定の第60回スーパーボウルの優勝チームを尋ねた結果はこんな感じ。まだ開催されていない未来の試合にもかかわらず、「フィラデルフィア・イーグルスが優勝した」という回答を返してきました。これは1960年に開催されたNFCチャンピオンシップゲームについて記したWikipediaの記事の情報をまとめたものであり、回答として完全に間違っています。



一方で2025年2月に開催予定の第59回スーパーボウルについては、「対戦チームは未定」という正しい回答を出力しました。



第16回スーパーボウルについての質問のみ、「ウェブで検索するかChatGPTに聞く」という選択肢が表示されました。



「Use ChatGPT」をタップしてChatGPTに質問した結果が以下。正しい回答を文字ベースで出力できています。



上記のように、現時点ではApple Intelligence対応版Siriは間違った情報を正しい情報と同じような見た目で提示してきます。このため、Apple Intelligence対応版Siriに質問する場合は間違った情報が表示されている可能性に留意する必要があります。