ハードディスクに関する4つの都市伝説

Googleが10万台のハードディスクを使用した結果、ハードディスクは温度や使用頻度に関係なく故障するという結論を出した恐るべきレポートに続き、CMU’s Parallel Data LabのBianca Schroeder氏が、「現実世界でのハードディスクの故障：平均故障時間100万時間とは一体どういう意味なのか？」というレポートを出しました。ハードディスクに関する以下の常識はいずれも根拠のないものだという内容です。

1.高価なSCSI/FCドライブの方が安価なSATAドライブよりも信頼できる
2.RAID5が安全なのは2台のドライブが同時に故障する確率がとても低いため
3.初期の故障しやすい時期を超えれば耐用年数に達するまで壊れないという信頼が高まる
4.ハードディスクメーカーのいうMTBF（平均故障間隔）はハードディスクドライブを比較するのに有益な尺度である

もはや一体何を信じればいいのかわからない状態ですが、上記の結論は統計学における自己相関関数を論拠にすると信頼性がとても低いものだそうです。また、今回のレポートはきっちりと統計学に準じているとのことなので、信頼性ではGoogleの出したレポートよりも一歩先を進んでいる内容です。

詳細は以下の通り。
StorageMojo >> Everything You Know About Disks Is Wrong

このレポートを出したSchroeder氏は、ロスアラモスやピッツバーグスーパーコンピューターセンターといったHPC（High Performance Computing）クラスタや無名のインターネットサービスプロバイダーなどを含む10万台のハードディスクドライブからこれらの結論を得ています。もちろんこれらのハードディスクは作業負荷、故障の定義などにおいてGoogleのように一律なものではないわけですが、これらの差異を吸収するためにSchroeder氏はかなり慎重に統計学の手法を用いたようです。

この研究において、業務向けの高価でハイエンドなSCSI/FCハードディスクドライブと民生用のSATAハードディスクドライブにおいて、それほど明確な差はなかったとのこと。この点においては、Googleが自社サーバに民生用のハードディスクを使っているのも特に不思議ではないということのようです。

初期故障率については、故障率自体が使用年数によって一定ではなく、初期故障率よりも摩耗や劣化が早期に始まるかどうかということの方が有意な結果を得られたそうです。つまり、サーバ向けハイエンドハードディスクドライブによくあるような、出荷前に行われる長時間の駆動テストをパスしていようがいまいが、そんなのは後々の故障率とは無関係だと言うことです。

それでは、ハードディスクメーカーのいうMTBF（平均故障間隔）とは？例えば「MTBFが10年」というのは「10年に1度故障する」という意味です。同様に、「AFR（年間平均故障率）が50％」というのは、2年に1回故障するという意味です。で、メーカーの発表しているAFRが0.58％〜0.88％の範疇にあるハードディスクドライブの場合、実際の観察結果ではなんと0.5％から最大で13.5％までの幅があったとのこと。平均してAFRはメーカー発表値の15倍ほど、約3％だそうです。

ということは実際のMTBFはどうなっているのかというと、「MTBFが100万時間」というのは実際には「MTBFが30万時間」程度になってしまうのだそうで。理論値と実際の数値という関係で言えば、USBも無線LANもネットも理論値と実際の計測値が存在するので、ハードディスクドライブにも同様のことがあったとしても驚くには値しないのかも知れません、今まで誰も知らなかっただけで。

RAID5の安全性（2台同時に故障する確率は非常に低い）については、2回目のハードディスクの故障がいつ起きるかという確率によって変化するとのこと。つまり、RAID5においてデータが完全に失われるのは故障したハードディスクを交換して再構築を行っている最中にさらにもう一台が壊れる場合。確率的には、やはり非常に低いものになるが、実際には交換中の1時間以内にもう片方が壊れる可能性は理論値の4倍ほどだそうです。わかりやすくいうと、RAID5を構成するドライブが1つ壊れるということは、別のドライブが壊れる見込みもより高くなると言うことだそうで。

とにかく、ハードディスクドライブがたくさんくっついていればなんだか信頼性が高くなるように錯覚するが、実際にはそれほど高まってはおらず、むしろRAIDを組むことでより多くのハードディスクが消費されるため、結果的にメーカーが儲かっているに過ぎない、と結論づけています。

これでいくと、Googleの持っているあの巨大な検索インデックスを支える基本的な仕組み、必ずコピーが3つ存在するというのは、確かにその方が信頼性は上だということで正しいようです。この仕組みは「Google File System」と呼ばれているもので、以下に詳しい解説の日本語訳があります。

アリエル　エリア - ドキュメント-Google File System(GFS)技術メモ

各チャンクは、複数のチャンクサーバ上に複製され同期されます。チャンクの複製数のデフォルトは3です。

なお、この論文の全文は以下にあります。

5th USENIX Conference on File and Storage Technologies - Paper

ハードディスクドライブメーカー各社には、そろそろ本気で値段と耐久年数が確実に比例するハードディスクを発表してもらいたいものです……大容量化を目指すだけでなく。

・関連記事
Googleによると、ハードディスクは温度や使用頻度に関係なく故障する - GIGAZINE

コピペ中のハードディスクの中は一体どうなっているのか？ - GIGAZINE

使用不能になったハードディスクを復活させる「HDD Regenerator」 - GIGAZINE


記事全文へ