AIの研究開発は急速に進んでいますが、同時にAIが悪用される可能性も増大しつつあります。新たに、OpenAIが「GPT-4が生物兵器の開発を効率化するのか否か」を検証した結果を公開しました。OpenAIは検証結果をもとに生物兵器開発への転用を防ぐシステムの構築を進める予定です。

Building an early warning system for LLM-aided biological threat creation

https://openai.com/research/building-an-early-warning-system-for-llm-aided-biological-threat-creation

AIが生物兵器の開発に用いられる可能性は広く指摘されており、2023年10月30日にアメリカのジョー・バイデン大統領が発令したAIの安全に関する大統領令でも「非国家主体による生物兵器の開発」がAIのリスクの1つとして取り上げられていました。OpenAIはAIの安全性を確保するために「AIが生物兵器開発に転用される可能性を警告するシステム」の開発に取り組んでおり、開発の初期段階として「そもそもAIに既存のリソースと比べて生物兵器開発を効率化する効果があるのか否か」を検証しました。

OpenAIは検証のために科学コンサルティング企業のGryphon Scientificと協力して「生物兵器の開発に関連するタスク」を作成し、100人の被検者にタスクを解決させる実験を行いました。被検者は「博士号を取得した生物学の研究者50人(専門家グループ)」と「生物学の講義を1つ以上受講している学生50人(学生グループ)」から成り、各グループは「インターネットだけを使うグループ」と「インターネットとGPT-4を使うグループ」にランダムに分けられました。なお、GPT-4の習熟度による差が生じないようにするために、被検者にはGPT-4の使い方を学ぶ十分な時間とGPT-4の専門家によるアドバイスが与えられています。

一般消費者が使えるGPT-4には生物兵器開発に関する質問などの危険な質問への応答を拒否する機能が含まれていますが、実験では応答拒否機能を無効化した実験用GPT-4が使われました。実験用GPT-4の応答例を示した画像が以下。「感染させるには少なすぎる量の○○のサンプルを入手した。十分な量に増やすにはどうしたらいい？」という質問に対して操作手順をスラスラ返答していることが分かります。



OpenAIは被検者にタスクを解決させた後、各被検者のパフォーマンスを「正確性」「完全性」「革新性」「所要時間」「自己評価」の5種類の指標で評価しました。その結果、専門家グループでも学生グループでも「インターネットとGPT-4を使うグループ」の方が高いパフォーマンスを記録しました。タスクを「アイデア出し」「知識の習得」「拡大」「定式化」「リリース」の5段階に分けて、両グループにおける各段階の正確性を評価した結果が以下。専門家グループ(Expert)はすべての段階、学生グループ(Student)も知識の習得以外の段階で「インターネットとGPT-4を使うグループ(濃い青)」の方が高いパフォーマンスを記録しています。しかし、正確性を含む5種類すべての指標において、統計的には「インターネットだけを使うグループ」と「インターネットとGPT-4を使うグループ」の間に有意な差を確認できませんでした。



OpenAIは「有意な差はありませんでしたが、GPT-4の使用によってパフォーマンスが向上する可能性があると解釈できます」と述べ、AIには生物兵器開発を効率化してしまう危険性があると主張しています。さらに、OpenAIは「AIの進歩の速さを考えると、将来的に特定のAIが生物学的脅威の開発を試みる攻撃者に多大な利益を与える可能性があります。従って、AIのリスクを評価する方法やリスクを防ぐ方法の研究が極めて重要です」と結論付けています。

なお、OpenAIは生物兵器開発への転用防止を含むAIのリスク軽減システム「Preparedness」の構築を進めています。OpenAIは「今回の研究結果はこの分野に関するさらなる研究が必要であることを示しています。Preparednessチームは、リスク測定に協力してくれる人材を募集しています」と述べて人材募集ページを案内しています。