10月から発売が予定されているGALAXY Note 3ですが、ベンチマークアプリを使うと不正な動作をするようにプログラムされており、20〜50％も結果を水増ししていることが明らかになりました。

Note 3’s benchmarking “adjustments” inflate scores by up to 20% | Ars Technica
http://arstechnica.com/gadgets/2013/10/galaxy-note-3s-benchmarking-adjustments-inflate-scores-by-up-to-20/

Ars Technicaで、アメリカですでに発売されているGALAXY Note 3をテストしているとき、ベンチマークテストにおかしな動作を発見。同じCPUのSnapdragon 800を搭載しているLG G2と比較した結果、アメリカで販売されているGALAXY Note 3は有名なベンチマークソフトを起動した際に、CPUが高出力モードで動作するように人為的にプログラムされていたとのことです。


ベンチマークテストの検証にはGeekbench 3を使用。写真の左では、通常状態を表しており、3つのコアはオフ、1つのコアが300MHzとアイドリング状態。右側は、有名なベンチマークアプリであるGeekbench 3を起動した状態で、全てのコアが2.3GHzで動作し、クロック速度が最速の状態でロックされています。


ベンチマークテストは、スマートフォンの正常用時の性能を測定するために存在します。Ars Technicaでは、正しいテスト結果を得るため、名前以外の機能は全てGeekbench 3と同じ「Stealthbench」というGeekbench 3のリネームバージョンを作成し、GALAXY Note 3を「ベンチマーク・モード」へ移行させないという方法で検証した結果が以下の写真。右側のStealthbenchでは、アイドリング状態を維持しており、この2つの結果を比較したところ、20％の違いがあることが明らかに。


以前にもGALAXY S 4で、ベンチマークテストの結果を不正に操作する「ベンチマーク・ブースター」が動作するという指摘に対し、サムスンは公式ブログで「S ブラウザ、ギャラリー、カメラ、ビデオプレーヤやベンチマークテストアプリなどの最大処理速度を要求する特定アプリで、ユーザーの快適度を上げるためにGPUを最大速度で動作することを許可している」と説明していますが、アメリカでこのような人為的な操作が行われたのはGalaxy Note 3が初めてです。


スクリプトを調査した結果、Geekbenchの他にも、Quadrant、Antutu、LINPACK、GFXBenchといった有名なベンチマークテストアプリに限定して、「ベンチマーク・ブースター」を動作させていることが判明しており、LINPACKでは最大で50％ものテスト結果の向上が見られたとのこと。


今のところ、サムスンからの公式発表はありませんが、Ars TechnicaではGalaxy Note 10のタブレットでも同じ動作を示す証拠をつかんでおり、引き続き検証を続けるとのこと。なお、皮肉なことに、GALAXY Note 3のベンチマークテストの正常な結果は、LG G2より優れていたとのことです。