ゲーム攻略で人間を超えた人工知能、その名は「DQN」

写真拡大

グーグルが昨年買収したDeepMind社の人工知能(AI)「DQN」。『Atari 2600』のゲーム49本を学習させたところ、その半数以上で人間に匹敵、時には上回るスコアを記録した。動画で紹介。

「ゲーム攻略で人間を超えた人工知能、その名は「DQN」」の写真・リンク付きの記事はこちら

グーグルは2014年1月、ロンドンに本拠を置くDeepMind社を推定約5億ドルで買収した。フェイスブックが買収に関心を寄せているとも噂されていた新興企業だ。

関連記事:グーグル「世界を覆う人工知能ネットワーク」構想

DeepMind社の創設者であるデミス・ハサビス(38歳)は、かつてチェスの神童として名をはせた人物だ。同氏はその年の「WIRED2014」カンファレンスに登壇し、自社の人工知能(AI)にAtari社のゲーム「Breakout」(ブロックくずし)をプレイさせたところ、一晩で完璧な攻略法を編み出したと語った

そのハサビスらDeepMind社のチームがこのほど、『Nature』誌に2月25日付で研究論文を発表した。この研究では、「deep Q-network(DQN)」というAI(論文では「agent」)を用いて、強化学習という非常に人間的な学習手法(一連の行動を通じて報酬が最も多く得られるような方策を学習する方法)を、ディープラーニング(深層学習)と組み合わせた。ディープラーニングは、グーグルが2012年、自社のAIに「YouTube」動画に映るネコの姿を認識させる(日本語版記事)のに用いた学習手法だ。

ハサビスによると、オープンシステムがこのふたつの学習手法を組み合わせるのは前例のないことだという。

上記のアプローチを用いて、1ゲームにつき2週間のトレーニングを行った結果、DQNは、49種類のゲームのうち半数以上のゲームで、人間が記録したスコアの75%以上を獲得した。この成績は、強化学習のみを用いたAIの成績を上回った。さらには、研究チームが知らなかったゲームの抜け穴まで見つけ出したという。

DQNが「Breakout」の攻略法を学習する様子。プレイ回数が400回の段階で、ボールの取りこぼしはほぼなくなり、600回に達したころには、ブロックの端を重点的に狙って壁に穴を開け、上部のスペースにボールを送り込んで大量得点する技(トンネル)を会得。最終的にDQNは人間の13倍という高い得点を得たという。Video: NPG Press

「AI技術の興味深く、素晴らしい点は、AIのほうが開発者に、新たな知識を授けてくれるところだ。そんな技術はほかにそうない」と、ハサビスは述べる。

「縦スクロールのシューティング(「River Raid」)から、ボクシング(「Boxing」)、3Dのカーレース(「Enduro」)まで、非常に多種多様なゲームでDQNが優れた成績を上げたことは注目に値する」と、研究チームは論文の中で述べている。

DQNが、アタリのゲーム機「Atari 2600」に移植された「スペースインベーダー」をプレイする様子。Video: NPG Press

「『Deep Blue』(1997年に当時のチェス世界チャンピオンを打ち負かしたIBMのスパコン)の場合は、開発チームにチェスの名人が加わっていて、彼らがプログラムに注ぎ込んだチェスの知識をただ実行したにすぎず、何ひとつ学習したわけではない」とハサビス氏は説明する。「それに対して、われわれのAIは一から学習する。知覚的な経験を与えてやると、そこから直接学びとる。予期せぬ事柄に遭遇すると、そこから学習し適応する。プログラムの設計者自身が解決法を知っている必要はない」

今回の研究では、ピクセルとゲームスコアの情報のみがフィードバックとして与えられたが、もともとDQNは、あらゆる情報をインプットとして利用できる。AIの汎用化に役立つ要素だ。

チームは今後、Atari社製ゲーム機のゲームから、1990年代のゲームに対象を移し、「はるかに難度の高い」3Dゲームやレースゲームを用いて実験を行う計画だ。そこで得られた研究成果を、ゆくゆくは検索エンジンや翻訳サーヴィス、またおそらくは自律走行車技術といったグーグルの製品に応用することを目指している。

※以下は、Nature誌によるDeepMind社とハサビス氏の紹介動画。

TAG

AIDeepMindGameSingularityVideoWiredUK