AI企業のAnthropicは、2025年2月25日に発表した推論モデル「Claude 3.7 Sonnet」がベンチマークでOpenAIのo1やo3-mini、DeepSeek-R1を超える性能を示したと報告しました。さらに、AnthropicはClaude 3.7 Sonnetの性能を示すベンチマークの一環で、1996年に発売されたゲームボーイ用ソフト「ポケットモンスター 赤」をプレイさせ、ジムリーダー3人を倒したことをアピールしています。そして、Anthropicはこのポケモンによるベンチマークを実演するべく、ゲーム実況プラットフォームのTwitchで「ClaudePlaysPokemon」の配信を開始しました。

ClaudePlaysPokemon - Twitch

Anthropic's Claude AI is playing Pokémon on Twitch - slowly | TechCrunch

https://techcrunch.com/2025/02/25/anthropics-claude-ai-is-playing-pokemon-on-twitch-slowly/

Claude 3.7 SonnetがどういうAIモデルなのかは以下の記事を読むとわかります。

「Claude 3.7 Sonnet」と「Claude Code」が登場、OpenAI o1やDeepSeek-R1を超える性能で「ポケモン」のジムリーダーを3人倒すことに成功 - GIGAZINE



Claude 3.7 Sonnetは難しい課題を「推論」することができるモデルであり、ポケモンをプレイすることも可能だとAnthropicは述べています。この高度な推論機能を持たない前モデルのClaude 3.5 Sonnetでは、最初のマサラタウンにある自宅から出ることもできなかったそうですが、Claude 3.7 Sonnetはクチバシティに到達し、3人目のジムリーダーであるマチスを倒すことに成功したとのこと。

Twitchの配信画面は以下の通りで、左側にClaude 3.7 Sonnetの推論結果、右側にゲーム画面、下部に所有しているポケモンが表示されています。



配信は日本時間の2025年2月26日0時頃に、ベンチマークでのデータの続きと思われるおつきみやまの洞窟からスタート。ただし、配信開始から1時間後にあらためてニューゲームを開始しており、記事作成時点ではトキワの森に挑戦中でした。



Claude 3.7 Sonnetは画面を認識し、その内容に応じてボタン操作を行いますが、その都度推論を行うため、サクサクと進むようなプレイは期待できず、おそろしいほどゆっくりとしたスピードでゲームを攻略しています。



IT系ニュースサイトのTechCrunchによれば、配信開始から数時間は岩壁にぶつかって動けない状態が続いたとのこと。これに対して、あるユーザーは「何千時間もかけてプログラミングされたAIと、1つの岩壁のどちらが勝つのか？」とコメントしていたそうです。

また、オーキド博士からポケモンを受け取った後、研究所内にいるNPCに何度も話しかける場面もあり、一部のユーザーは「大丈夫なのか？」と心配するコメントを寄せましたが、「みんな落ち着け。どうやって先へ進むかわかるまで、オーキド博士の研究所に10回くらい出入りしてたよ」というコメントもあり、気長に見守るのがよさげです。



なお、Twitchでは過去に「魚の動きでポケモンのクリアを目指す配信」も行われており、なんと3195時間(約133日)もかけて殿堂入りを果たしています。

魚でポケモンのクリアを目指す配信が3195時間かけてついに殿堂入りを達成してクリア - GIGAZINE