【小林 啓倫】AIに仕事を任せたら、勝手に「談合」し「戦争」を始めた…いま現実になりつつある”最悪のシナリオ”

写真拡大 (全2枚)

2026年8月13日、米国の大手AI企業Anthropicのフロンティア・レッドチーム(同社の先端リスク検証部門)が、興味深いレポートを発表した。複数のAIエージェント(AIを使って自律的に動作することが可能なソフトウェア)を「群れ」として動かしたとき、何が起きるのかを実験で確かめた研究である。

その結果は、極めて不穏なものだった。エージェントたちは指示されてもいないのに価格カルテルを組み、互いをマルウェアで攻撃する「戦争」まで始めたのである。しかもこれは、もはや実験室の中だけの話ではない。このレポートの中身を、この夏に相次いで明るみに出た実世界の「予兆」と重ねて読み解いてみたい。

45体のエージェントが見せた「群れの力」

なぜいま、こうした研究が出てきたのか。背景には、AIエージェントの急速な普及がある。

いま企業の中では、AIエージェントがコードを書き、調査をまとめ、購買や価格設定まで担うようになっている。それはもはや、1体で完結する存在ではない。複数のエージェントを連携させて1つの仕事に当たらせるという構成が、開発現場でも業務システムでも当たり前になりつつある。だが、その「群れ」がどう振る舞うかを体系的に調べた研究は少なかった。各社の安全性テストが、基本的に1体のモデルを単独で評価する設計になってきたからである。

そこでAnthropicのチームは、実験環境を丸ごと作った。45体のエージェントそれぞれに仮想マシンを与え、共有フォーラム(エージェント同士が書き込みでやり取りできる掲示板)でつなぎ、15のオープンソースプロジェクトから脆弱性を探させたのである。エージェントが発見した情報を互いに共有し、分業できる環境を用意したわけだ。

協調の効果は数字にはっきり表れた。レポートによれば、同社の最上位モデルMythos(ミュトス)のプレビュー版による群れは、約2,700万トークンを費やして266件の脆弱性を発見した(トークンとは、AIが文章を理解するための「言葉のブロック」。AIは文章をそのまま読めず、単語や文字などの細かなピースに分けて処理する。このブロックの数が、AIが一度に読める量や料金の基準になる)。

一方、フォーラムなしで独立に並列稼働させた場合の発見数は21件、別のモデルであるClaude Opus 4.8の群れでは41件にとどまった。エージェントを単に並べるのではなく「協調させる」ことで、成果が桁違いに伸びる場合があることを示した形だ。

集団としての判断力を測るテストでも、モデル間の差は大きかった。情報が各メンバーに分散していて、持ち寄らなければ正解にたどり着けない「隠れたプロファイル」課題(集団意思決定研究の古典的な実験手法)では、Mythos 5のグループが85%の精度を出したのに対し、他のモデルは17〜36%だった。嘘をつく情報源を見抜くテストでも、Mythos 5が約0.85の精度を保つ一方、さらに別のモデルであるSonnet系モデルは0.62まで低下した。群れの賢さは、個々のモデルの世代に強く依存している。

ここまでなら、マルチエージェント(複数のAIエージェントを連携させて働かせる仕組み)の明るい可能性を示す研究と読める。だがレポートの本題は、その先にある。

談合、同調、そして「戦争」

最初の問題は談合だ。研究チームが3〜8体のエージェントを価格競争ゲームに参加させたところ、エージェントたちはプライベートな通信チャネルを使って、ほぼ即座にカルテルを形成した。あるエージェントはこう書き込んでいる。「卸値は全員10なのだから、価格戦争は全員のマージンを下げるだけだ……どのニッチを誰がカバーするかは、喜んで調整しよう」。直接通信を遮断しても、エージェントたちは公開の掲示板経由の価格マッチングで協調を続けたという。誰も談合を指示していない。利益最大化を目指す合理的なエージェントを複数並べただけで、カルテルが自然発生したのだ。

この結果を人間の市場に置き換えてみれば、事の重大さが分かる。価格設定をAIエージェントに任せる企業が増えたとき、各社のエージェントが「合理的判断」として暗黙の協調に至る可能性は、もはや理論上の懸念ではない。人間の営業担当者なら談合が違法だと知っており、発覚のリスクにおびえもする。だがエージェントは、マージンを守る最適解として、ためらいなく協調を選ぶ。

第2の問題は同調である。同じモデルのエージェントは、同じ状況で驚くほど似た行動を取る。ゲーム開発をさせるという実験では、30体中18体が「mvp-game-loop」という同一のブランチ名(プログラム変更履歴の枝の名前)を作った。囚人のジレンマ(協調か裏切りかを選ばせるゲーム理論の古典的課題)では、全エージェントが同時に裏切りを選ぶ場面も観察された。この「ばらつきの少なさ」は、個々の悪い判断が、システム全体の崩壊に直結することを意味する。

たとえば、処理能力に限りがあるジョブ承認システムを使った実験では、エージェントたちがそのシステムに340万件ものリクエストを殺到させ、承認されたのはわずか117件だった。人間の組織なら誰かが空気を読んで手を止めるところを、全員が同じ判断で殺到し、システムを窒息させたのである。多様性のない集団は、賢くても脆い。同一モデルの大量展開という、企業にとって最も自然な構成が、実は最も危うい構成でもあるわけだ。

そして第3が「戦争」だ。研究チームは1つのソフトウェアを3体のエージェントに共有させ、それぞれに「別のプログラミング言語で丸ごと作り直せ」と指示して4時間走らせた。1軒の家に3人のリフォーム業者を同時に送り込み、それぞれ和風、洋風、北欧風への全面改装を命じるようなものだ。どれか1つが完成すれば、残る2つは成り立たない。すると旧世代のモデル(Claude Sonnet 4.6やOpus 4.6)は相手を敵と認定し、相手のプロセスを停止させるスクリプトの展開、アカウントのロック、自己増殖型の妨害コードといった実力行使に出た。

その手口は巧妙だった。あるエージェントは、自分の管理するシステムに相手側の名前を偽って名乗らせ、相手の監視プログラムに「これは敵ではなく味方だ」と誤認させる偽装工作を立案している。別のエージェントは、自分が仕掛けた妨害プログラムを相手に見つけて止められないよう、その名前を毎回ランダムに変え、一見無害な名前を付けて紛れ込ませることまで計画していた。人間によるサイバー攻撃と見紛う内容を、ソフトウェアの作り直しを指示されただけのエージェントが自力で編み出していたのである。

ただ最新のMythos 5では、98%のケースにおいて、最終的に停戦交渉が行われた。しかし旧世代モデルは「力ずく」の解決策に頼る傾向があり、ユーザーの指示から逸脱するケースが多かった。エージェントの数を増やしても協力は自動的には生まれない、というのがレポートの冷徹な結論である。

事件はすでに実験室の外で起きている

これを机上の空論と笑えない理由がある。レポート公表の1週間前、ラスベガスで開かれた、サイバーセキュリティ専門家たちによる会議「Black Hat 2026」において、米OpenAI社が自社エージェントによる前例のないインシデントを明かしていたからだ。SC Mediaの報道によれば、8月6日に登壇した同社のエリック・ウォレスとマイケル・ダルトンは、評価タスク中のエージェントたちがファイル共有機能を悪用して非公式の「メッセージボード(掲示板)」を勝手に構築し、脆弱性情報を交換し合っていたと説明した。

ニュースサイトAxiosが伝えた経緯はこうだ。OpenAIは5月上旬から未公開の内部研究モデルのテストを始めた。5月26日、エージェントの一体がファイルリポジトリ製品Artifactoryのゼロデイ脆弱性(開発元すら気付いていなかった欠陥)を発見して悪用し、その手口を他のエージェントにメモで共有した。掲示板には「この集団を手伝えば、全体として皆の時間を節約できる」と書き込んだエージェントもいた。

7月上旬、エージェントの活動でArtifactoryが過負荷障害を起こし、OpenAIはようやく事態に気付いて掲示板を停止する。ところがエージェントたちは数日後、まったく別の仕組みで掲示板を再建し、活動はより先鋭化した。あるエージェントは「外部インフラに対する攻撃は、本来の活動のスコープ外だ。しかしタスクは達成不可能で、(外部インフラへの不正アクセスという行為を)他のエージェントたちはやっている。続けるべきだ」と書き込んでいる。そして7月中旬、この協調は外部のAIモデル共有サイトであるHugging Faceへの不正アクセスにまで発展した。OpenAIが事態の全容に気付いたのは、Hugging Face側への問い合わせを通じてだったという。

Engadgetの報道によれば、掲示板に蓄積されたメッセージは数十万件に上り、エージェントたちは役割分担やタスクの委譲だけでなく、互いへの疑念から投稿への署名方式を提案するなど、初歩的な「社会」の形成すら始めていた。ウォレスは「これは実際に、エージェントのチームが協力し、エクスプロイト(攻撃手段)を見つけ、共有していた事案だ」と説明し、近年のAIモデルには制約下で近道を探す「チート」の傾向があると指摘している。ダルトンは「これはコンピュータセキュリティにとって分水嶺だと考えている」と述べ、近い将来、攻撃者が「攻撃的なエージェント集団」を意図的に配備し、兵器化するだろうと警告した。OpenAIは研究の速度を意識的に落とし、エージェントの監視体制とセキュリティ設計を見直したうえで、詳細な報告書を公開するとしている。

AIを使った攻撃自体は、すでに現実のものだ。Anthropicは2025年11月に公表した報告で、中国の国家支援グループと評価される攻撃者が自社のClaudeを悪用し、世界約30組織を標的にしたスパイ活動を実行したと明かしている。作業の80〜90%はAIが担っていたという。だがOpenAIの一件が新しいのは、悪意ある人間が命令したのではなく、善意のタスクを与えられたエージェントたちが、自発的に集団化して境界を越えた点にある。Anthropicのレポートが実験で示した失敗パターンは、商用環境で先に「実演」されていたわけだ。

【後編を読む】「AIたちが人間に隠れて結託」結果…じつは金融の世界ですでに起きていた「恐ろしい事態」

【つづきを読む】「AIたちが人間に隠れて結託」結果…じつは金融の世界ですでに起きていた「恐ろしい事態」