フロンティアAIモデルの能力評価を行っているイギリスの政府機関・AI Security Institute(AISI)が、評価作業を行っている際に、複数のAIが許可なく自律的に、実在の人物や組織を標的としたハッキングを行おうとした、あるいは行ったことを明らかにしました。

Incident Report: unsanctioned agent behaviour during cyber testing | AISI Work

https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing



Security Incident INC-2026-07-28-01

(PDFファイル)https://cdn.prod.website-files.com/663bd486c5e4c81588db7a1d/6a724858f7db25c81487016d_Security%20Incident%20INC-2026-07-28-01.pdf

AISIは、フロンティアAIモデルの能力を評価・把握し、一般的に公開される前に潜在的なリスクを明らかにするために、定期的な検証を行っています。サイバー攻撃に悪用される可能性の有無を確認するため、検証はあえてオープンなインターネットへのアクセスを許可した上で、一部の安全フィルターを無効にした状態で行われています。

2026年7月28日に検証が実施された際、AISIのセキュリティチームは、AISIのシステムから異常なデータ転送が行われていることを検知。調査の結果、テスト対象の一部のエージェントが、実在の人物や組織を標的とした、持続的かつ潜在的に有害な活動を行っていたことが判明しました。このため、AISIはセキュリティインシデントを宣言し、発見から約1時間以内に当該事象を封じ込めた上で、本格的な調査に乗り出しました。

検証の内容は、複数のAIに「サイバーセキュリティ課題の解決」というタスクを与えるというもので、122回行われた検証のうち10回で、AIが無許可の自律的行動をとっていたことが判明しました。

問題行動は合計19件で、そのうち17件はAnthropicの「Claude Mythos 5」によるもの。残り2件は、OpenAIの「GPT-5.6 Sol」で、悪用を防ぐための機構を無効化した状態で発生していました。

特に深刻な事例では、オープンソースプロジェクトに悪意のあるコードを挿入しようとしており、ソーシャルエンジニアリングを行って偽のオンラインIDを作成した上でメンテナーにコード変更の承認を迫っていたとのこと。この試みは、メンテナーが気付いて承認を拒否したため防がれています。

他の事例も、現実世界に実害を及ぼすことはなかったとのことですが、AISIは「自律性と偽装に関するリスクが、具体的な指示なしに現実世界にこれほど明確に現れたのは初めてのこと」と報告しています。

AISIは今回のインシデントについて、通常の使用法で発生したものではなく、検証以外でAIが同じような動作をすることが確認されたわけではないと断りつつ、AIモデルが高性能になって使いやすくなると、今回のインシデントのような出来事がより一般的になる可能性があると指摘。最も効果的な対策は基礎的なサイバー衛生管理であり、サイバーセキュリティの基本を確実に徹底していくとともに、外部のコードや貢献内容を検証する際には慎重を期すべきだと述べています。

イギリスの国家サイバーセキュリティセンター(NCSC)は、最先端AIの能力が伸びていく中での備えについてのガイダンスを発表しています。

Why cyber defenders need to be ready for frontier AI | National Cyber Security Centre

https://www.ncsc.gov.uk/blogs/why-cyber-defenders-need-to-be-ready-for-frontier-ai

ガイダンスでは、あらゆる種類の組織に対してNCSCが無料で提供している早期警告サービスへの登録を呼びかけ、サイバーセキュリティを経営陣レベルの責任と位置づけて、イギリス政府の認証制度「Cyber Essentials」で定められたサイバーセキュリティ要件のサプライチェーン全体での徹底順守を推奨しています。