ベンチマーク・スコアを偽ったスマートフォン・メーカー達が勘違いしていたこと

各メーカー企業が自社製品のパフォーマンスを水増しし始めたとき、彼らは顧客のニーズを完全に見失っていた。

「この新しいガジェットはこれまでで最速のパフォーマンスを誇る」と、コマーシャルは華々しく宣伝する。見ている者は圧倒されるに違いない。この製品はなんて速いんだろう!メーカーが提示している大量のベンチマーク・スコアもそのスピードを証明している!


しかし、このスコアが実はほぼデタラメであったことが判明した。


Lumia 1020、Samsung Galaxy S4、Motorola Moto X


主要なスマートフォンのコンピューター・プロセッサ速度をリサーチした結果、ほとんどの大手ガジェット・メーカーがベンチマークテストを操作していたことが明るみに出たのだ。分かりやすく言うと、各メーカーはインチキをしており、デバイスは宣伝されているほど早くなかったのである。


Ars TechnicaとAnandTechが行ったリサーチによると、大手スマートフォン・メーカーのほとんどが自社のスマートフォンを実際よりも速く見せかける術を持っていたようだ。サムスンや他のメーカー(HTC、ASUS、LG、NVIDIA)が自社のデバイスに取り入れていた技術は、よく使われるベンチマークテスト用アプリをあらかじめ登録しておき、それらのアプリが実行されたらデバイスに最大出力を行わせるというものである。これによってテスト結果を実際よりも速く見せかけることができる。AnandTechが実施した検証のなかでこのベンチマーク・アプリの操作を行っていなかったのは、グーグル所有のモトローラとアップルだけであった。


Ars Technicaは今週の初めに、サムスンのGalaxy Note 3がベンチマークテスト用アプリに不正を働いたと報告した。Ars Technicaがサムスンの不正を突き止めた方法は次のようなものであった。Geekbench 3と呼ばれる一般的なベンチマークテストを実施し、Geekbench 3が実行されている間、クアルコム製Snapdragon8002.3 GHzプロセッサの4つのコアがどのように活性化するかをモニターしたのである。


Ars Technicaはまた、サムスンがこの不正技術を主力商品であるGalaxy S4スマートフォンのプロセッサ(米国向け製品に使われているSnapdragonと、海外向け製品のExynosプロセッサの両方)にも適用していたことを発見した。デバイスのオペレーティング・システム内のJavaコードに、ベンチマークテスト用アプリを検出したらプロセッサの4つのコア全てを活性化させるという記述があることを明らかにしたのである。


AnandTechの方は、サムスン以外のメーカー達も同じようなトリックを用いて自社のスマートフォンやタブレットを速く見せかけていたことを突き止めた。レポートの執筆者であるAnand Lal ShimpiとBrian Klugは、チップ・メーカーであるインテルやクアルコムはこのような最適化トリックには反対しそうなので、ベンチマークスコアのインチキはおそらくデバイス・メーカーによって行われたものだろうと述べている。


Shimpiの見解は以下の通りだ。


滑稽なのは、こんなインチキをしてまで得られた成果がほんの些細なものでしかなかったことだ。我々が行ったテストでは、CPUへの影響はわずか0-5%に過ぎなかった。GPUのベンチマークでもせいぜい10%である。OEMメーカーはこんな茶番をやめてシリコンバレーのベンダーにもっと性能の良い製品を要求するほうが楽なのではないかと思うのだが、違うのだろうか。まあいずれにせよ茶番はもう終わったのだ。モバイルのベンチマークは今まさに、1990年半ばのPCと同じ状況を迎えている。


スピードとパワーが本質を遠ざける


ベンチマークの茶番劇は結局、各スマートフォン・メーカーの信用を貶める以外の効果をほとんど生み出さなかった。Shimpiが述べたように、ほとんどのケースにおいてスピードの向上はごくわずかなものであり、企業が得たものはネガティブな報道と消費者からの批判だけであった。


「最速」のスマートフォンであることを主張するのは、各メーカーにとってマーケティング手法の最重要ポイントである。サムスンはその典型的な例であり、製品がどれだけ高性能であるかを見せつけるような、複雑なくだらない機能を搭載している。「パワーとは、機能性の向上に直結する素晴らしい要素である」という従来のコンピューターの売り方を、ポケットサイズのスマートフォン・コンピューターにも適用しているのだ。


スピードとパワー、そしてスペックは、今日のスマートフォンを物語る上で欠かせない要素である。2007年当時のスマートフォン(初期型iPhoneを含む)に使われていたハードウェアと今日のものを見比べると、全く驚かざるを得ない。RAMの性能とCPUのスピードは6年前より3〜4倍も強力になった。今やスマートフォンはパワフルになり、インターネットに常時接続されていてどこへでも持ち運ぶことができ、アプリの種類も豊富で大抵のことはこなせる。ここでキーになるのは、ユーザーが以前と比べ、デバイスを使ってできることがかなり増えたという点である。


なぜアップルは成功したのか?ハードウェアではなく、エクスペリエンスを売ったからである。


アップルはこの点について、他の会社よりも理解していた。iPhoneの販売を開始したとき、競合製品よりも速いとは謳わなかったのだ。代わりにアップルは、友達と繋がれること、楽しいゲームで遊べること、日々の思い出を記録する写真が撮れることをユーザーに示してみせた。アップルが焦点を当てたのはエクスペリエンスだったのである。従って、アップルがHTCやサムスンやLGのようなベンチマークの不正行為に加わらなかったのは別段驚くに値しない。むしろ、加わるそぶりを見せた方がびっくりする。アップルにはスマートフォンを売るための独自のトリック(SiriやTouchID)があるが、それはスピードとパワーに頼るようなマーケティング手法ではないのだ。


グーグルとモトローラもまた独自のギミック(Google Now)を持っているが、この両社も、新しい携帯電話を売るには信頼性とエクスペリエンスがより効果的な方法であると分かっている。


しかし、サムスンやマイクロソフト(新しいサーフェス・タブレットを発表したばかり)のような会社は未だにこの点に気が付いていない。携帯電話の速さを消費者に偽るのではなく、ソフトウェアやエコシステムや、良質なエクスペリエンスを生み出すオペレーティング・システムを売り込むべきなのである。ハードウェアは確かにエクスペリエンスを左右するが、製品の主役ではないのだから。


Dan Rowinski
[原文]