次々に新たなAIモデルが登場してベンチマークスコアの最高記録を更新し続けていますが、タスクによってはそれほど高性能なAIでなくとも十分な場合が多々あります。AIを活用した文書管理サービスを開発するAlphaSenseは、「財務に関するタスクにおいて、オープンモデルのGemma 4 31BがClaude Sonnet 5と同等の性能を発揮する」というテスト結果を公開しています。

How AlphaSense Pairs Frontier AI Models with Frontier Context

https://www.alpha-sense.com/resources/product-articles/frontier-ai-models-context/

AIに財務情報を分析させる際は情報を読み込ませる方法がタスク効率に大きく影響します。「関連するすべての情報をAIに読み込ませる」という方法ではAIが多大な情報を処理することになり、タスクごとのコストが大きくなります。一方で「関連する情報の中から別の検索システムで特定の情報を抜き出してAIに読み込ませる」という方法ならコストを抑えることができます。AlphaSenseは独自の情報検索基盤である「AlphaSense Search」を開発しており、AlphaSense Searchと各種AIモデルを組み合わせた際の財務情報分析性能を測定して公開しました。

「GPT-5.6 Sol」「Claude Haike 4.5」「Claude Sonnet 5」「Claude Opus 4.8」「Claude Opus 5」「Kimi K3」「GLM-5.2」「Inkling」「Gemma 4 31B」を対象に245問の財務情報分析タスク回答精度を測定した結果が以下。縦軸が回答精度の相対スコア(上に行くほど良好な結果)、横軸がタスクごとのコストの中央値(左に行くほど安い)を示しています。Gemma 4 31Bは無料で公開されているオープンモデルですが、クローズドモデルのClaude Sonnet 5と同等の精度で処理に成功し、コストは40分の1でした。最も高精度だったのはGPT-5.6 Solで「品質と価格のバランスに優れたモデル」と評価されています。



AlphaSenseのテスト結果にはGoogleの公式Xアカウントも反応しており、「最先端モデルは常に必要となるわけではありません。最近のベンチマークではGemma 4 31BがClaude Sonnet 5と同等の回答品質を約40分の1のコストで達成しました。コスト効率の高さとレイテンシの少なさによって、Gemmaは大型モデルでは経済的に成り立たない高ボリュームのユースケースに対応できます」と述べ、Gemma 4シリーズの優位性をアピールしています。