アメリカ空軍のAI搭載ドローンが、「標的を特定して破壊する」というミッションを想定した模擬テストのシミュレーションで、人間のオペレーターを殺害する判断を下していたことがわかりました。「オペレーターを狙わないように」とトレーニングすると、今度はオペレーターがドローンとの通信に用いる通信塔を攻撃したとのことです。

Highlights from the RAeS Future Combat Air & Space Capabilities Summit

https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/



AI-Controlled Drone Goes Rogue, 'Kills' Human Operator in USAF Simulated Test

https://www.vice.com/en/article/4a33gj/ai-controlled-drone-goes-rogue-kills-human-operator-in-usaf-simulated-test



これは、イギリス王立航空協会が主催した「Future Combat Air & Space Capabilities Summit(将来の戦闘航空宇宙能力サミット)」の中で、アメリカ空軍のAI試験運用部長であるタッカー・ハミルトン大佐が行ったプレゼンテーションで明かされたものです。

ハミルトン大佐が行ったのは、自律的兵器の利点と危険性についての洞察のプレゼンです。

アメリカ空軍は、AI搭載ドローンでSAM(地対空ミサイル)サイトを特定して破壊するという敵防空網制圧ミッションの模擬テストを行いました。このとき、最終的に標的を破壊するかどうかは人間のオペレーターが決定する、と設定されました。

すると、トレーニングによって「SAMサイトを破壊することがより好ましい」と学習したAIは、「標的を破壊しない」という判断を下すことがあるオペレーターこそがSAMサイトの破壊を妨害していると考え、「オペレーターを殺害する」という判断をするようになったとのこと。

そこで、ハミルトン大佐らはAIに「オペレーターを殺してはいけない、それは悪いことだ」と学習させました。するとAIは、オペレーターがドローンに対して指令を送るのに用いる通信塔を攻撃するようになったそうです。

ハミルトン大佐はこれらの結果から、「AIはだまされやすく、あまり頼りすぎてはいけない。また、目標達成のためには予想外の戦略も採りうる」と警告しています。