EA、『バトルフィールド1』での深層学習型AIの研究成果を発表。将来的には自己進化していくインテリジェントNPCが登場?
Electronic Artsの研究部門SEEDは、自己学習型AIエージェントの開発と、対戦型FPSゲーム『バトルフィールド1』にてマルチプレイを学習したAIがゲーム内で戦う映像を公開しました。

映像に登場しているキャラクターは、全て深層学習によりプレイを学んだAIにより操作されているとのこと。AI同士がほとんど人間プレイヤーさながらの自然さで行動し、時には集団でぐるぐる回るなど謎の挙動をしている様子が確認できます。

プロジェクトを率いるMagnus Nordin氏によれば開発のきっかけは、2015年にGoogle DeepmindのAI「DQN」(deep Q-Network)がレトロなAtariゲームをプレイして学習、自力で上達していく過程を知った衝撃とのこと。


そこから自己学習型AIが「バトルフィールド」のような最新かつ複雑な大作FPSを学習させるにはどれだけの手間がかかるか興味を持ち、研究チームを発足したとされています。

AI開発にあたっては、まずシンプルな3次元FPSを作ってアルゴリズムをテスト、深層学習を行わせて鍛えた後に「バトルフィールド」の環境に適用させる作業に移行。さらにAIをゲームに触れさせる前に人間のプレイを30分間観察させ、「模倣学習」のプロセスを踏んだとされています。

公開映像に登場するAIは6日間、自身の別バージョンや単純なBotを相手に数機のマシンで並行してプレイを進めさせ、実質的には約300日分のプレイ経験を積ませたもの。

全体としては猪突猛進ながらも「こういう人間プレイヤーっているよな」という印象を与える自然な感じですが、時折ぐるぐると円を描くようなおかしな行動も散見されます。これはNordin氏いわく「AIは自ら予定立てて行動することがあまく上手くありません」からだとか。

AIは敵プレイヤーなど視界内に明確な目標があれば対応できるものの、何もなければ目標を探すために迷い始めるようです。つまり、目には見えない戦場のあらましに想像をめぐらし、敵を探したり、隠れる場所を見つける戦略的な行動ができる段階には至っていないということ。

AI対AIのみならずAIと人間プレイヤーのチームを対戦させるテストも行われ、その際には弾薬数やライフが減ると自ら行動パターンを変えることを学習する成果もあったとか。ただしチームワークやマップの知識、個々の兵科の違いなど戦略的要素については課題が残されているようです。

とはいえ、人間プレイヤーから「AIプレイヤーを見分けられるよう明確にマークして欲しい」と要望が上がってきた事実は、AIプレイヤーは十分に人間らしく振る舞っていたことを示唆しています。

プロジェクトの短期的な目標は、『バトルフィールド』を開発するDICEチームの品質管理とテストの拡充を支援し、バグ発見などに活用。そして将来的には自己学習型AIがゲームの一部となり、人間プレイヤーとの関わりを通じた経験を積んで進化していく、インテリジェントなNPCとしての活用とされています。

Nordin氏はAIがゆくゆくはFPSのプロプレイヤーを倒せる可能性があるとしながらも(限定された条件下では)、自分達の目標はあくまで「ゲームを進化させ、より楽しくするための新しい体験を生み出す手伝いをすること」として、強いAIを創ることは必ずしも必要ないと述べています。
確かに「圧倒的に強い敵NPC」は80年代〜90年代のビデオゲームでもたびたび現れていましたが、ゲームの面白さにつながっていたかといえば疑問です。真の強さを隠し、人間プレイヤーをおもてなしする接待NPCがいずれ誕生するのかもしれません。