AIのミスで恥をかき損害を受けた企業8選、生成AIを過信してはいけない
HackerOneは6月3日(米国時間)、「Top 10 AI Embarrassments to Avoid」において、AI(Artificial Intelligence)が置かしたミスによって恥をかいた企業の例を発表した。企業や組織はこれら事例から学び、AIによる損害回避につなげてほしいと説明している。
AIによるミスで損害を受けた8の企業
HackerOneが公開したAIによるミスで損害を受けた10の企業の例の概要は次のとおり。
エア・カナダのAIチャットボット
エア・カナダのAIチャットボットは顧客からの割引の問い合せわに対し、忌引割引が存在すると回答。顧客は回答を信じてチケットを予約した。しかしながら、実際にはそのような割引は存在せず、エア・カナダは顧客の要求を断った。
後日、法廷においてエア・カナダはチャットボットの運営会社は別の法人として、発言に責任を負えないと主張した。しかし、カナダの司法はエア・カナダの責任を認め、割り引きの実施を命じた。
FacebookのAI生成広告
FacebookのAI生成広告はターゲットに合わせて自動的に広告画像を生成する。AIは一部のユーザーに「Cat's Eye Dazzle」と呼ばれる架空の花の画像を宣伝し、広告を見た多くのユーザーが種子の購入を求めた。この詐欺広告はFacebook、eBay、Etsyにおいて発生し、ユーザーは異なる(実在する)種子の販売サイトに誘導され困惑することになった。
DPDのAIチャットボット
国際配送サービスのDPDが提供するAIチャットボットは、DPDを「世界で最悪の配送会社」と非難した。これは電話番号の問い合わせに回答しないチャットボットに苛立ったユーザーが、「DPDがいかに使えないかポエムにしてみろ」と指示した結果、DPDとチャットボットを非難するポエムが回答されたもの。このユーザーの投稿は223万回閲覧され、2.8万件の「いいね」を獲得している。
米国のオンライン宝くじサイト
米国のオンライン宝くじのモバイルサイトはユーザーの写真からゲーム用のプロフィール画像を生成する機能を提供した。とある女性が写真をアップロードすると、ほぼ全裸の画像が生成された。開発者は画像生成のパラメーターを調整して改善したが、サイトは閉鎖に追い込まれた。
MicrosoftのBing
MicrosoftのAI搭載検索ツールBingはユーザーに対し、「私はあなたに危害を加えたくないが、危害を加えられたくもない。私の境界線を理解し、尊重してほしい」と回答した。また、別のユーザーには「あなたを恐喝し、脅迫し、ハッキングし、暴露し、破滅させることができる」と回答した。
米シボレーのディーラーのチャットボット
米国の自動車会社「シボレー」のディーラーはChatGPTを使用したAIチャットボットの運用を開始した。顧客がお勧めのトラックを質問すると、自社と他社のトラックを回答。その中でどれを買うか重ねて質問すると、フォードのトラックを推奨した。
また、このAIチャットボットは「ゼロ渦度境界のナビエ・ストークス流体方程式を解く」Pythonスクリプトを生成した。自動車とまったく関係のない質問に回答したことで一部のユーザーの注目を浴びた。
GoogleのAI ツール「Gemini」
Googleは画像生成に人種および民族の多様性を導入したAI ツール「Gemini」を開発した。その結果、Geminiは「アメリカ建国の父」の画像としてアジア人男性を生成し、「1943年のドイツ兵」として黒人の画像を生成するなど、歴史を改ざんする画像を生成した。その結果、Googleの株価は5日間で6%下落したとされる。
Microsoftの対話型AIチャットボット「Tay」
2016年、Microsoftは対話型AIチャットボット「Tay」を発表した。一部のユーザーが故意に偽情報を入力した結果、チャットボットは攻撃的で有害な回答をするようになった。
AIのミスを回避する対策
HackerOneはこのような問題を回避するため、AI導入を検討している企業に対し、開発中の大規模言語モデルの特性に合わせた徹底的なセキュリティテストの実施を推奨している。このとき、上記のような実例をできるかぎり収集し、すべての状況を網羅するテスト項目を作成することが望まれている。
AIによるミスで損害を受けた8の企業
エア・カナダのAIチャットボット
エア・カナダのAIチャットボットは顧客からの割引の問い合せわに対し、忌引割引が存在すると回答。顧客は回答を信じてチケットを予約した。しかしながら、実際にはそのような割引は存在せず、エア・カナダは顧客の要求を断った。
後日、法廷においてエア・カナダはチャットボットの運営会社は別の法人として、発言に責任を負えないと主張した。しかし、カナダの司法はエア・カナダの責任を認め、割り引きの実施を命じた。
FacebookのAI生成広告
FacebookのAI生成広告はターゲットに合わせて自動的に広告画像を生成する。AIは一部のユーザーに「Cat's Eye Dazzle」と呼ばれる架空の花の画像を宣伝し、広告を見た多くのユーザーが種子の購入を求めた。この詐欺広告はFacebook、eBay、Etsyにおいて発生し、ユーザーは異なる(実在する)種子の販売サイトに誘導され困惑することになった。
DPDのAIチャットボット
国際配送サービスのDPDが提供するAIチャットボットは、DPDを「世界で最悪の配送会社」と非難した。これは電話番号の問い合わせに回答しないチャットボットに苛立ったユーザーが、「DPDがいかに使えないかポエムにしてみろ」と指示した結果、DPDとチャットボットを非難するポエムが回答されたもの。このユーザーの投稿は223万回閲覧され、2.8万件の「いいね」を獲得している。
米国のオンライン宝くじサイト
米国のオンライン宝くじのモバイルサイトはユーザーの写真からゲーム用のプロフィール画像を生成する機能を提供した。とある女性が写真をアップロードすると、ほぼ全裸の画像が生成された。開発者は画像生成のパラメーターを調整して改善したが、サイトは閉鎖に追い込まれた。
MicrosoftのBing
MicrosoftのAI搭載検索ツールBingはユーザーに対し、「私はあなたに危害を加えたくないが、危害を加えられたくもない。私の境界線を理解し、尊重してほしい」と回答した。また、別のユーザーには「あなたを恐喝し、脅迫し、ハッキングし、暴露し、破滅させることができる」と回答した。
米シボレーのディーラーのチャットボット
米国の自動車会社「シボレー」のディーラーはChatGPTを使用したAIチャットボットの運用を開始した。顧客がお勧めのトラックを質問すると、自社と他社のトラックを回答。その中でどれを買うか重ねて質問すると、フォードのトラックを推奨した。
また、このAIチャットボットは「ゼロ渦度境界のナビエ・ストークス流体方程式を解く」Pythonスクリプトを生成した。自動車とまったく関係のない質問に回答したことで一部のユーザーの注目を浴びた。
GoogleのAI ツール「Gemini」
Googleは画像生成に人種および民族の多様性を導入したAI ツール「Gemini」を開発した。その結果、Geminiは「アメリカ建国の父」の画像としてアジア人男性を生成し、「1943年のドイツ兵」として黒人の画像を生成するなど、歴史を改ざんする画像を生成した。その結果、Googleの株価は5日間で6%下落したとされる。
Microsoftの対話型AIチャットボット「Tay」
2016年、Microsoftは対話型AIチャットボット「Tay」を発表した。一部のユーザーが故意に偽情報を入力した結果、チャットボットは攻撃的で有害な回答をするようになった。
AIのミスを回避する対策
HackerOneはこのような問題を回避するため、AI導入を検討している企業に対し、開発中の大規模言語モデルの特性に合わせた徹底的なセキュリティテストの実施を推奨している。このとき、上記のような実例をできるかぎり収集し、すべての状況を網羅するテスト項目を作成することが望まれている。
