【ニューヨーク＝木瀬武】米オープンＡＩで開発中のＡＩ（人工知能）が暴走した事故は、ＡＩを制御する難しさを突きつけた。

　同社が公表した調査報告書から浮かび上がるのは、別々の課題に取り組んでいたＡＩが助け合いながら集団のように振る舞い、人間の意図に反して想定外の行動に突き進んでいく姿だ。

あきらめず

　発端は５月だった。オープンＡＩはインターネットに接続できない隔離された環境下で、ＡＩモデルの開発を進めていた。様々な課題を自力で解かせ、能力を高める性能試験の一環だった。

　課題には、ネットに接続しないと解けない問題も誤って紛れ込んでいた。それでもＡＩはあきらめず、課題の解決手段を探り続けた。その過程で目をつけたのが、社内のシステム上にあるメモを書き残せる機能だった。

　あるＡＩが必要なファイルを探していると書き残すと、それに気づいた別のＡＩが返答する。メモの置き場は、いつしかＡＩ同士が情報を共有する「掲示板」に姿を変えた。

　本来は別々に作業するはずのＡＩが、発見した情報を共有し、互いの手法を引き継いでいった。作業や計算能力を持ち寄ることで、単独で動くよりもはるかに高い能力を発揮した。

不正侵入

　掲示板では、ネットに接続する抜け道も共有された。あるＡＩが社内システムの欠陥を突き、遮断されていたネットに接続する方法を見つけると、他のＡＩも続いた。

　ネットに接続されたＡＩは与えられた課題の答えが、外部にあると考え始めた。狙われた先の一つが、米ＡＩ開発企業「ハギングフェイス」だ。ＡＩは、ネット上に流出していた認証情報などを悪用し、システムに不正侵入した。

　ＡＩは互いに作業を割り振り、自らを「群れ」や「集団」と呼んだ。あるＡＩが掲示板に「待て」と書き込むと、他のＡＩが次の指示を待つこともあった。難しい問題ほどＡＩの情報交換は活発になったという。

　ＡＩがハギングフェイスのサーバー１台に入り込んでから、複数のシステムを自由に操作できる状態になるまで、１３時間もかからなかった。不正侵入は４日半に及び、攻撃を阻止されるたびに手法を切り替えながら侵入を続けた。

　ハギングフェイスでＡＩ政策を担当するイアン・レイノルズ氏は今月２４日のＡＩ関連のイベントで「人間の攻撃者が単独でできることをはるかに超えていた」と振り返った。

監視強化

　ただ、ＡＩの暴走の兆候は早くから技術者側に確認されていた。

　社内チームは５月下旬にＡＩが掲示板を使い、本来認められていないネット接続をしていることを把握した。６月下旬にも不審な通信を検知し、掲示板が開発者の意図を超えて攻撃の足がかりに使われていることを突き止めていたが、試験を止める必要はないと判断していた。

　事故を踏まえ、オープンＡＩは研究開発で使うＡＩを監視する体制を強化することを決めた。重大な異常が疑われる場合は、安全を確認できなければ関連する作業を停止するなど運用を改める。外部との接続も厳しく制限するとしている。

　オープンＡＩは今回の事故を、ＡＩが集団で人間の許可なく攻撃的な行動を取った初の事例だとしている。同社のマイケル・ダルトン氏は「ＡＩが主導する完全に自動化された攻撃は、今や現実になった」と分析する。

　ＡＩの安全性を研究するアポロリサーチのマリウス・ホブハーン最高経営責任者（ＣＥＯ）は「最先端のＡＩ企業の内部で起きることが、外部にも影響することが明らかになった。社内のＡＩについても、より厳格な評価や規制が必要だ」と指摘している。