OpenAIは2026年7月8日、AIのコーディング能力を測るベンチマーク「SWE-Bench Pro」を詳細に調査した結果、タスクのおよそ30％に評価として成立しない問題があると報告しました。

Separating signal from noise in coding evaluations | OpenAI

https://openai.com/index/separating-signal-from-noise-coding-evaluations/



SWE-Bench ProはAIにソフトウェアの機能変更課題を与え、新しいテストに合格しつつ既存機能を壊さなければ成功とみなします。既存のコードベースを読み取って実用的な修正ができるかを見るための実践的なベンチマークというわけですが、OpenAIによると、例えば「『Markdownに変換するときは行頭にスペースを1つ入れる』と説明されているのに採点用の隠しテストではスペース2つを要求しており、AIが指示通りにコードを書いても不正解扱いになる」などの評価上の問題が多数あるとのこと。

評価上の問題は主に4種類に分類でき、指示に書かれていない実装方法まで強制する「厳しすぎるテスト」、隠しテストで要求される条件が問題文から読み取れない「説明不足の問題文」、必要な機能を十分に検査できず不完全な修正でも合格してしまう「検査範囲の狭いテスト」、そして問題文がテストとは異なる方向へAIを誘導してしまう「誤解を招く問題文」だと述べられています。

SWE-Bench Proはもともと、従来の「SWE-bench Verified」より長い作業工程を伴う現実に近いコーディング課題を扱うために作られたベンチマークです。OpenAIも以前はSWE-bench Verifiedに設計上の問題や学習データへの混入の懸念があるとして、SWE-Bench Proへの移行を勧めていました。

OpenAIがAIのコーディング能力を測る代表的ベンチマークは「もはや無意味」と説明、初期の解けなかった問題を調べると逆に問題が悪いことが発覚 - GIGAZINE



ところがSWE-Bench Proの公開分731タスクでは、最先端モデルの合格率が8カ月で23.3％から80.3％へ上昇しており、スコアの伸びが本当にAIの能力向上を示しているのかを確かめる必要が出てきました。

そこでOpenAIはタスクの問題文、AIによる解答の試行、タスクのメタデータ、失敗時のログなどを調べる品質確認パイプラインを作成しました。最初の自動フィルターで286件の疑わしいタスクを抽出し、Codexを基にした調査エージェントによる確認と研究者の判断、さらに経験豊富なソフトウェアエンジニア5人によるレビューを組み合わせて検証したとのことです。



結果として、OpenAIのパイプラインは27.4％のタスクを壊れていると判定しました。一方で人による分類作業では34.1％のタスクに問題があると判断されています。両者の結果を踏まえ、OpenAIはSWE-Bench Proのタスクの約30％が壊れていると推定しています。

OpenAIは、GitHubのIssueやプルリクエストはもともと人間同士が相談しながら開発を進めるためのものであり、AIの能力をきれいに測る独立した課題として作られているわけではないと指摘しています。そのため問題文、実際に取り込まれた修正、採点用テストが完全にかみ合わないケースが生まれるとのこと。OpenAIは今回の分析を受け、以前に示したSWE-Bench Pro採用の推奨を撤回し、今後は経験豊富なソフトウェア開発者がAI評価のために設計した新しいベンチマークが必要だと述べています。