ポーカーの複数人対戦でAIがプロに圧勝、初の快挙が世界にもたらすインパクト
ダレン・エリアスはポーカーを熟知している。彼は32歳にして「ワールドポーカーツアー」で4度の優勝を果たした唯一のプレイヤーであり、これまでに大会で獲得した賞金の総額は700万ドル（約7億5,400万円）を超える。その腕前にもかかわらず、エリアスはこの春、人工知能（AI）から新たな学びを得た。
エリアスは、カーネギーメロン大学とフェイスブックの研究者が共同で開発した最新のAIのテストに参加した。エリアスと、もうひとりのプロプレイヤーであるクリス・“ジーザス”・ファーガソンは、それぞれインターネット上で5つのAIとの6人対戦という形式で5,000ゲームを行った。このAIの名は「Pluribus（プルリブス）」という。
その結果はAIの大勝だった。ゲームの最中にエリアスは、あることに気づいた。機械は単調な動きをすると考えられがちだが、Pluribusは典型的なプロプレイヤーより大胆な行動を見せたのだ。「Pluribusは、よくポット（賞金プール）の2〜3倍の額をベットするのです。人間はあまりこういう手を打ちません」とエリアスは語る。「この高額なベットには興味を引かれますね。自分の戦術に取り入れてみようと考えています」
このように、Pluribusはベテランのプロプレイヤーが目を見張るような戦術を展開した。しかし、注目されているのはそれだけが理由ではない。実はPluribusは、複数人対戦でノーリミット・テキサスホールデムでトッププレイヤーを破ったのだ。
ノーリミット・テキサスホールデムとはポーカーのなかで最も上級者向けの形式で、これはAIとしては世界初の偉業だ。7月11日付で『サイエンス』誌に掲載された論文では、Pluribusがエリアスやファーガソンと対戦した際の様子や、プロプレイヤー5人を相手にした6人対戦で1万ゲームを行い、たやすく勝利を収めた様子が記述されている。
「Pluribusを人間のプロ5人と試合させれば、Pluribusは5人を打ち負かし、賭け金を巻き上げることになるでしょうね」と、フェイスブックのAI研究所の研究者で、Pluribusの共同開発者であるノーム・ブラウンは語る。「Pluribusはまさにポーカーの世界を代表するような存在になったと言えます」
AIが最後にして最大の課題を克服
今回のプロジェクトには参加していないが、自身もブラウン大学でコンピューターポーカーについて研究しているマイケル・リットマンも、ブラウンと同様の見解を示している。
ゲームの性質上、長年にわたりポーカーAIの開発は研究者にとって大きな難題とされていた。ポーカーには、現実世界の多くの場面と同じような性質がある。
チェスとは異なり、ポーカーでは行動を選択する際に対戦相手のもっているカードがわからない。これは政治やビジネス、戦争と同じである。かつては複雑な要素を生み出す6人対戦のテキサスホールデムはAI研究者たちの手が届かない領域で、ほとんどの研究は2人対戦を対象としていた。
しかしいまポーカーAIは、ついに最後にして最大の課題を克服したのだとリットマンは言う。「これはまさに、多くの研究者たちがかかわってきた数十年にわたる努力の結実と言えます」
ポーカーAIは自律走行車にも応用できる？
ブラウンは、カーネギーメロン大学のトゥオマス・サンドホルム教授と共同でPluribusをつくりあげた。ブラウンはかつて大学院生としてサンドホルムの研究室で学んでおり、ふたりはそこで2017年に「Libratus（リブラトゥス）」というAIを開発した。6人対戦よりはずっとシンプルな形式ではあるが、Libratusは世界で初めて2人対戦のノーリミット・テキサスホールデムでプロプレイヤーを破ったAIである。
ブラウンがPluribusのプロジェクトを開始したのはフェイスブックに入社してからのことだ。しかしブラウンいわく、フェイスブックにはこの技術をどう応用するかという具体的なアイデアはないという。
「最終的には不完全情報や大規模なマルチエージェントシステムに関する基礎研究に活かしたいと思っています」と彼は言う。フェイスブックの主要サーヴィスを指しているともとれる言い回しだ。
ブラウンによると、Pluribusでテストしたアイデアを応用すれば、将来的に自律走行車がほかの運転手のとる行動を予測したり、不正の検出アルゴリズムを改良したりできるかもしれないという。
共同開発者が立ち上げた企業の狙い
サンドホルムは自身の研究成果により、戦略を立てられるAIの商業的価値、さらには国防的な価値を示すことができたと語る。彼はふたつの会社を設立し、自身の研究室で生まれたAIによる戦略構築技術の商業化を進めている。
立ち上げた会社のひとつが、ストラテジック・マシーン（Strategic Machine）だ。この会社では、ゲーム内のAIの改良や企業の価値算定を支援している。企業の最適な価値の割り出しにあたっては、競合企業の反応まで考慮に入れるという。
もうひとつの会社、ストラテジー・ロボット（Strategy Robot）は、国防総省と2年で1,000万ドル（約10億7,900万円）の契約を2018年に結んだ。詳しい契約内容については双方とも口を閉ざしている。
しかしサンドホルムによると、ストラテジー・ロボットの売りはポーカーなどのAI関連プロジェクトで証明されたアイデアを利用してシミュレーション上の（そして現実の）戦場で、より強力な戦術を構築することにあるという。その内容は推して知るべしだろう。
Pluribusの中枢をなす技術のうちいくつかは今回のプロジェクトより前に開発されたものだが、今回のフェイスブックと共同のプロジェクトについては、上記の2社から使用許諾を受けることになるものはひとつもないという。
優れた微調整能力
PluribusとLibratusの共通点は、どちらも自分の分身と何兆回もの対戦を重ね、スキルを磨いていることにある。ゲームの経過とどうすればもっとよいプレイができたかを1戦ごとに再検討し、改善点があればどんなささいな内容でも自身の戦略の中核に加える。
Pluribusが前身のLibratusよりはるかに複雑なゲームをプレイできるのは、その微調整能力によるところが大きい。Pluribusはゲーム中に観察したひとつの要素から、どのような結果が起こりうるかを推測して、戦略を詳細に調整することができる。これはサーチ・ファンクションと呼ばれる機能だ。
初期のヴァージョンでは、ゲームの開始時点から終了までに起こりうるすべての要素を網羅しようとしていた。しかし、この方法では、ほぼ無限とも言える6人対戦のパターン数を把握しようとすると、膨大な演算が必要になってしまう。
そうならないよう、ブラウンとサンドホルムは、ある時点から数手先までだけを精査するサーチ・ファンクションを開発した。想定外の事態を避けるために、対戦相手が戦略を変更した場合に、それぞれの手の価値がどのように変わるかも計算に入れている。ポーカーのように一部の情報が隠れているゲームで、この手のサーチ手法がここまでうまく応用されたのは初めてのことだ。
低コストで動作するAI
このアプローチでは、従来ほど性能の高いコンピューターは必要なくなり、運用にかかる費用が安くなる利点もあるとブラウンは言う。今回、Pluribusは自分自身を相手に対戦経験を重ねることで6人対戦のポーカーを攻略したが、これに要した時間は8日間で、使用したのは64コアのCPUを搭載したサーヴァー1台だったという。
「DOTA 2」などの複雑なゲーム向けに開発されたAIは、トレーニングに大量のプロセッサーを必要とする。「クラウドコンピューティングサーヴィスを利用すれば150ドル（約1万6,000円）ほどかかる計算になりますが、これほど安価ならほかの分野への応用も十分に見込めるでしょうね」と、ブラウンは語る。スーパーコンピューターで2カ月のトレーニングを要したLibratusの場合は、費用はおよそ100万ドル（約1億7,900万円）になるという。
ブラウンとサンドホルムは、Pluribusを利用してポーカーで金儲けすることは考えていない。「コードを公開するつもりはありません。オンラインポーカーのコミュニティに多大な影響を与えてしまうだろう、ということがその理由のひとつです」とブラウンは語る。「ポーカー用のAIをつくろうと考える人たちではなく、AIコミュニティの人々にアクセスしてもらえるようにしたいと考えています」
AIがポーカーの世界にもたらすこと
とはいえ、この技術が拡散してしまう可能性が高いことはブラウンも認識している。PluribusのようなAIを1年後に開発する者が現れている可能性はあるのだろうか。「その可能性は十分あるでしょう」とブラウンは言う。
ポーカーチャンピオンのエリアスも同様の見解だ。AIが日々進化していることをプレイヤーたちも認識しているため、Libratusの登場以来、オンラインポーカーで以前ほど高額を賭ける者はいなくなったという。「オンラインで『シットアンドゴー』をプレイしている際に賭け金が高額になったら、対戦相手がAI、もしくはAIを利用している人間である可能性が高いのです」
最近のAIの進展ぶりを見てポーカーのプレイを控えるというのは、プロ、アマチュアを問わず好ましいことではない。AIはあくまでポーカーの世界に新たな可能性をもたらす存在であるというのが、エリアスの主張だ。
エリアスがPluribusのテストに好意的に協力したのは、AI技術そのものや、AIがもたらしてくれる戦略上の新たな可能性に価値を見いだしたからである。今回発見された高額なベットの効果もそのひとつだ。またAIは、「ドンクベット」（あるラウンドでコールしたプレイヤーが次のラウンドでレイズに転じること）を好んで用いることがわかっている。これによってドンクベットを悪手とするポーカーの常識に疑問が投げかけられている。
それと同時にエリアスは、やはり少し悲しくもあると言う。Pluribusという究極のポーカーAIの登場は、ポーカーの歴史的な転換点となったからだ。
「わたしは16歳のころからポーカーだけをしてきました。ポーカーに人生を捧げてきたのです。ですから、機械に完敗するというのはかなりこたえますね」と、エリアスは言う。「AIの初勝利は、人間の永遠の敗北なのですから」
