Googleが生成AIを用いた複数の検索機能を2024年5月15日(水)に開催された「Google I/O 2024」の基調講演で発表しました。この発表には「撮影した動画をもとに検索する機能」が含まれていたのですが、当該機能のデモ動画に致命的なミスが含まれていることが話題となっています。

Google I/O 2024: New generative AI experiences in Search

https://blog.google/products/search/generative-ai-google-search-may-2024/

Google’s Gemini video search makes factual error in demo - The Verge

https://www.theverge.com/2024/5/14/24156729/googles-gemini-video-search-makes-factual-error-in-demo

「撮影した動画をもとに検索する機能」のデモ動画は、以下の動画の57秒頃から始まります。

Search in the Gemini era | Google I/O 2024 - YouTube

フィルムカメラを持って困った顔の男性。どうやらフィルム巻き上げレバーが動かなくなったようです。



Googleでカメラを直す方法を調べるべく、「撮影した動画をもとに検索する機能」を起動してフィルム巻き上げレバーを撮影。



動画を撮影しながら「why is the lever not moving all the way(レバーが全然動かないのはどうしてですか)」と話すと、発話した内容が画面内に表示されます。



撮影した動画と「レバーが全然動かないのはどうしてですか」という文章をもとに検索が実行され、AIによる検索結果の要約が表示されました。検索ワードには「フィルム巻き上げレバー」というワードが含まれず「レバー」という単語が含まれるのみですが、動画の内容から自動で「フィルム巻き上げレバー」について検索しています。



下方向にスクロールするとAIが作成した「Here are some things you can try(あなたが試せること)」と題した対応策一覧セクションが表示されました。しかし、対応策をよく見ると「Open the back door and gently remove the film it the camera jammed(裏蓋を開けて、カメラの詰まりの原因となっているフィルムをそっと取り出す)」という項目が含まれています。しかし、撮影中のフィルムが入った状態で裏蓋を開けるとフィルムが感光して撮影した内容が消え去ってしまうため、この対応策は明らかに間違っています。



ただし、Googleは誤りに気付いていないようで、「撮影した動画をもとに検索する機能」のデモ動画は「問題の項目をハイライトするシーン」で終わっています。



「撮影した動画をもとに検索する機能」はGoogle検索の新機能テストプログラム「Search Labs」でアメリカの英語話者向けにテスト公開が予定されており、その後、提供地域が拡大する予定です。このため、正式公開時には機能が改善している可能性もあります。