これまでスマートフォンでのベンチマークでたびたび不正を働いてきたSamsungが、複数のテレビで「レビューアーが行うベンチマークを検出して実際よりも高性能に見せる」ことを意図した明らかな不正操作を行っていたことが、テレビやモニターのレビューをしているYouTuberや検証サイトにより突き止められました。

Samsung QN95B 'Neo QLED' review - FlatpanelsHD

https://www.flatpanelshd.com/review.php?id=1654162781

Samsung Busted For Cheating TV Test Benchmarks | Techdirt

https://www.techdirt.com/2022/06/17/samsung-busted-for-cheating-tv-test-benchmarks/

この問題を最初に見つけたのは、Samsungが2022年5月にリリースした有機ELテレビ「Samsung S95B」をレビューしていたYouTubeチャンネル・HDTVTestです。具体的にどのようなものなのかは、以下のムービーの再生開始から1分20秒が経過したあたりから見ることができます。

I Love QD-OLED, But EVERYONE Is Wrong about Samsung S95B's Brightness & Colours - YouTube

HDTVTestはまず、テレビのレビュアーがHDRのベンチマークを行う際の設定として最も一般的な「10％」のウィンドウサイズでテストを行いました。



その結果、左の電気光伝達関数(EOTF)や右の輝度(Luminance)のグラフは、黄色の基準値の線と灰色の測定値の線がほとんどぴったりになりました。



ところが、ウィンドウサイズを変更すると……



基準値の線と測定値の線がずれてしまいました。



同じ現象は、さまざまなデバイスのレーティングを行っているRTINGS.comのベンチマークでも確認されました。「Samsung S95B」で行ったベンチマークの結果について、RTINGS.comは「残念ながら、ファームウェア1211の時点では、『Movie』モードにするとほとんどのシーンが正しい輝度レベルで表示されません。測定に使用するウィンドウサイズによって、結果が異なります」と報告しています。

さらに、別のSamsung製テレビでも測定結果が操作されていることが判明しています。以下は、テレビとモニターのレビューサイトであるFlatpanelsHDがSamsungのスマートテレビ「Samsung QN95B」でHDRのテストをウィンドウサイズ10％(左)と9％(右)で行った結果です。「Samsung S95B」の時と同様に、EOTFと輝度のグラフが違う結果になっていることが分かります。



FlatpanelsHDによると、本来はウィンドウサイズが変わっても測定結果に影響は出ないはずだとのこと。FlatpanelsHDは、この点について「測定ウィンドウを標準の10％から9％に変更しても、テストパターンが画面に占める割合が10％から9％になっただけで、他には何も変わりません。それでこの結果になったのは、HDTVTestが指摘したように『Samsungのテレビはレビュアーが一般的に使用する10％のウィンドウサイズを検知し、測定値が実際より正確に見えるよう画像出力を調整している』ということです。これは、レビュアーを欺くための組織的な努力、つまり意図的な不正行為としか言いようがありません」と厳しく非難しました。

Samsungは、FlatpanelsHDへの声明の中で「Samsungは、消費者に最高の画質を提供するため、絶え間ないイノベーションにコミットし続けます。また、消費者によりダイナミックな視聴体験を提供するため、当社は業界標準を超えたより広い範囲のウィンドウサイズで、HDRコンテンツの一貫した明るさを確保するソフトウェアアップデートを提供します」と述べて、意図的な不正行為であることを認めることなくこの問題を修正することを発表しました。