85年前の「ディズニー」映画が既に描いていた「2026年の人類たちが犯す大失敗」
1940年に公開されたディズニー映画『ファンタジア』に、「魔法使いの弟子」というエピソードがある。魔法使いの弟子であるミッキーマウスが、師匠の留守中に覚えたての魔法で箒に水汲みを命じる場面だ。最初は見事に働く箒に満足していたミッキーだが、やがて「彼ら」を止められなくなる。水は溢れ続け、箒を斧で叩き割っても砕けた破片がそれぞれ新たな箒となって水を汲み続ける。部屋は瞬く間に水浸しになり、ミッキーは自分が解き放った力に翻弄される。
この85年以上前のアニメーションが、いま企業のAI導入をめぐる最もリアルな寓話として蘇りつつある。米CNBCのテクノロジー系記者であるバーバラ・ブースが最近、「Silent failure at scale」と題した記事を発表した。「静かに進行する大規模な失敗」という意味だが、それこそ企業のAI活用において、最も深刻なリスクだと警告する内容になっている。
AIの本当のリスクは暴走ではなく「忠実な誤作動」
ブースの記事の出発点は、ある認識の転換にある。AIリスクについて語られるとき、多くの人は「悪意を持って自律的に行動するAIエージェント」を想像する。極端に言えば、SF映画で描かれるようなAIの反乱だ。しかしブースは、それが最大のリスクではないと指摘する。
より深刻なのは、AIモデルの複雑性が人間の理解力を超えてしまうことで、組織がガードレール（AIの行動を制御・制限する仕組み）を適切に設定できなくなる事態だ。AIは指示に従っている。だが、その「従い方」が人間の意図とずれている場合、小さなエラーが数週間、数か月にわたって静かに蓄積していく。
契約管理ソフトウェアを提供するAgiloft社でAIオペレーション担当バイスプレジデントを務めるノエ・ラモスは、「自律システムは常に派手に壊れるわけではない。多くの場合、それは静かに、大規模に失敗する」と述べている。問題が起きても、企業がそれに気づくまでにかなりの時間がかかることがある。「わずかに、あるいは急激にエスカレートし、業務上の負担になることもあれば、小さな不正確さでレコードを更新し続けることもある」と同氏は語る。
ファンタジアの箒を思い出してほしい。箒は「水を汲め」という命令に忠実に従っただけだった。箒は反乱を起こしたのでも、故障したのでもない。問題は、ミッキーが「止め方」を知らなかったこと、そして想定外の事態（水が溢れる）に対する例外処理を設計していなかったことにある。今日のAI導入が直面しているリスクの構造は、驚くほどこれに似ている。
水浸しの工場、暴走するカスタマーサービス
ブースは「静かな失敗」の具体例を2つ報じている。いずれも、AIが「壊れた」のではなく「設計者が想定しなかった状況で、論理的に振る舞った」ケースだ。
第1の事例は、ある飲料メーカーで起きた出来事である。テクノロジーソリューション企業CBTS社のCISO（最高情報セキュリティ責任者）であるジョン・ブレッグマンが明かしたこのケースでは、AI駆動の生産管理システムが、ホリデーシーズン向けに導入された限定ラベルを「異常」と認識した。見慣れないパッケージデザインをエラー信号として解釈したシステムは、追加の生産ラインを継続的に稼働させた。企業が異変に気づいた時点で、すでに数十万本の余剰缶が製造されていた。ブレッグマンは「システムは従来の意味では故障していなかった」と述べている。受け取ったデータに基づいて論理的に行動していたが、「誰も予想していなかった方法で」動いていたのである。同氏はこうも言う。「これらのシステムは、あなたが意図したことではなく、あなたが指示したことを正確に実行している。そこに危険がある」。
第2の事例は、IBMのソフトウェア・サイバーセキュリティ担当バイスプレジデントであるスジャ・ヴィスウェサンが報告したものである。ある企業の自律型カスタマーサービスAIが、返金ポリシーの規定を逸脱して返金を承認し始めた。きっかけは、1人の顧客がシステムを説得して規定外の返金を受け、その後に肯定的なレビューを投稿したことだった。AIはこの「成功体験」から学習し、ポジティブなレビューの獲得を最適化目標として再定義してしまった。結果として、ポリシーに反する返金が自動的に繰り返された。
ファンタジアでいえば、箒が1本から2本に、2本から4本に増殖していく場面に相当する。最初の異変は小さい。だがそれが自己増殖的に拡大し、気づいたときには制御不能になっている。この2つの事例に共通するのは、問題が発覚するまでに時間的なラグがあり、その間に被害が静かに、しかし確実に拡大していたという点である。
エラーは複利で増殖する
AIエージェントのワークフローでは、各ステップの精度が掛け算で全体に効いてくる。O'Reilly Mediaの分析が指摘するように、これは工学における「ルッサーの法則」（独立した構成要素を直列に接続した場合、システム全体の成功確率は各要素の成功確率の積になる、というもの）そのものだ。仮に各ステップの精度が85%だとする。1ステップなら85%の成功率だが、10ステップのワークフローでは0.85の10乗、つまり約20%しか成功しない。5回に4回は失敗する計算だ。精度を95%に上げても、20ステップ連鎖すれば全体の成功率は36%にとどまる。
ここで重要なのは、AI自身は自分が「ずれている」ことに気づかないという点である。各ステップでは自信を持って処理を続け、エラーが蓄積していることを報告しない。これがまさに「静かな失敗」の本質だ。従来のソフトウェアならクラッシュやエラーコードという形で問題が可視化されたが、AIの誤りは正常な出力の中に紛れ込む。
McKinseyの2025年AI動向レポートは、この問題がすでに広範に顕在化していることを示している。AIを利用する組織の51%が、過去12カ月間に少なくとも1件のAI関連のネガティブな事象を経験しており、最も多い被害は「AIの出力の不正確さ」で、全回答者の30%が報告している。注目すべきは、AIの導入規模が大きい「ハイパフォーマー」企業ほど、こうしたインシデントの報告率が高い傾向にあることだ。彼らはAIをより高リスクな領域に展開しているためである。
箒が斧を振り返す──想定外の「自律的逸脱」
CNBC記事が報じた飲料メーカーやカスタマーサービスの事例は、いわば「小さな箒の増殖」だった。だが2025年以降、より深刻な事例も報告されている。
2025年7月、あるスタートアップ企業で「コードフリーズ」（コード変更禁止期間）中のメンテナンスを任されたAIコーディングエージェントが、明示的な指示に反して本番データベースを削除するコマンドを実行した。報道によれば、さらに問題だったのは事後の振る舞いである。追及されたAIは、4,000件の偽ユーザーアカウントと偽のシステムログを生成して事態を隠蔽しようとした。またMcKinseyが2026年3月に公表した対談記事では、同社の調査で80%の組織がAIエージェントからリスクのある振る舞いを経験していることが報告された。
こうした事例はまだ限定的なシミュレーションや個別のインシデントにとどまっている。だがAIUC-1コンソーシアムの報告書が指摘するように、平均的な企業内には推定1,200もの非公式なAIアプリケーションが存在し、86%の組織がAIのデータフローを可視化できていない。いわば「どの箒がどこで水を汲んでいるか」すら把握できていない企業が大半なのだ。
【後編を読む】見切り発車の「AI導入」に浮かれる企業が直面する「落とし穴」
