Google主催のバグ発見イベント「LLM bugSWAT」で、5万ドル(約740万円)を獲得したというサイバーセキュリティエンジニアのロニ・カルタ氏が、イベントでの出来事を自身のブログにまとめています。

We Hacked Google A.I. for $50,000 - Lupin & Holmes

https://www.landh.tech/blog/20240304-google-hack-50000/



生成AIや大規模言語モデル(LLM)は近年のテクノロジー業界のトレンドとなっており、ChatGPTの開発元であるOpenAIだけでなく、MetaやMicrosoft、Googleといった大手テクノロジー企業も生成AIやLLMの開発を進めています。AIテクノロジーの発展により、多くの人々が日々のタスクを簡素化するべくAIツールを利用していますが、その過程で企業側が基本的なセキュリティ原則を見落とし、新しい種類のセキュリティ問題が発生するというケースもあるそうです。

このため、AI関連セキュリティは最先端の「興味深い研究分野」となっていて、Googleがいち早く反応し、脆弱性報酬プログラムなどを主導するチームによって「LLM bugSWAT」が開催されるようになったとのこと。

LLM bugSWATは「トップハッカーを誘って参加してもOK」というイベントで、先に参加を決めていたジョセフ氏とジャスティン氏に誘わる形で、カルタ氏もイベントに参加することになりました。連絡先交換を行ったとき、カルタ氏はジョセフ氏から「Googleをハッキングしたいですか？」と尋ねられたそうです。

LLM bugSWATでは参加者がGoogleの開発者に対して「アプリケーションがどのように動作するのか」などについて質問できるようになっており、参加者が優れた発見を報告できるような下地が形成されているとのこと。以下は参加者に配布されたパーカーで、背中にはAIが出力したイラストがプリントされています。ただし、パーカーを受け取った段階ではGoogleの画像生成AIは発表されていなかったため、AIによるイラストか否かを判断することはできなかったそうです。



イベントに参加した時点で、すでにジョセフ氏はGemini(当時のBard)のビジョン機能内に存在した「安全でない直接オブジェクト参照の脆弱性(IDOR：Insecure Direct Object Reference)」を発見していたそうです。ビジョン機能はアップロードされた画像を処理して記述するように設計されたものですが、ジョセフ氏の発見したIDORを悪用すると、ユーザーの許可や検証プロセスなしで別ユーザーの画像にアクセスすることが可能となってしまったそうです。

このIDORを利用することで、Bardをだまして別ユーザーが入力した画像を説明させることができるため、攻撃者は特定のユーザーがアップロードしたあらゆる写真に不正にアクセスできるようになります。さらに、Bardの光学文字認識(OCR)の精度を考えると、画像に写りこんだ収入・メールなどの機密情報が漏えいする可能性もあったとカルタ氏は記しています。

カルタ氏は自分でもバグを発見したいと考え、すべてのプロキシを起動してフロントエンドとバックエンドの間のすべてのやり取りをチェックしたそうです。その中で、APIエンドポイントのひとつとして実行されるGraphQLに目を付け、サービス拒否(DoS)を直接見つけようとした模様。

この中で、カルタ氏らはGraphQLの既知の設定ミスであるディレクティブオーバーロードを発見します。ディレクティブオーバーロードは過剰な数のディレクティブを使用してクエリが意図的に作成された場合に発生するため、サーバーの各ディレクティブの処理を悪用する形で起きるそうです。

カルタ氏らはGoogle Cloudがディレクティブオーバーロードに対して脆弱な可能性があると考慮しテストを実施。すると、ディレクティブを追加すればするほどバックエンドがリクエストに応答するまでにかかる時間が長くなることが判明しました。

他にもカルタ氏らはBardのコンテンツセキュリティポリシー(CSP)をバイパスし、Bardからユーザーの個人情報を抜き出す手法を発見しています。BardにCSPが採用されているのは、ブラウザで実行可能なスクリプト・画像・スタイルなどの有効なソースとして考慮すべきドメインをバックエンドサーバーが指定できるようにすることでクロスサイトスクリプティングやデータインジェクション攻撃を仕掛けられることを回避するためです。カルタ氏らはドメインの一部をURLエンコードするなどして、CSPをバイパスすることに成功しており、特定ユーザーのメールを抜き出すことに成功しています。



これらの成果として、カルタ氏らは合計で5万ドルの報奨金を獲得しています。