大量構造化データの高速分析に不可欠なもの--ビッグデータセミナー法華津氏
だが、Hadoopがすべての用途をカバーするわけではなく、特に企業内に蓄積された大量の構造化データの管理・分析には、伝統的なデータ・ウェアハウス(DWH)が引き続き威力を発揮することになる。
「ビッグデータ分析プラットフォーム・セミナー」(マイナビ主催)のセッションに登壇した日本IBM ソフトウェア事業 インフォメーション・マネジメント事業部 Big data/DWH事業部長の法華津誠氏は、構造化データの管理・分析に最適な基盤としての「IBM Netezzaアプライアンス」の特徴を、事例を交えて紹介した。
そして、来場者に向かって「優秀な人材の独力でカバーしてきた分、何か画期的なテクノロジーが登場してきたときに、既存のやり方を変えることに躊躇しがちだ。
でも、その画期的なテクノロジーが運用・メンテナンスに大変な手間がかかるという現状を変えてくれるものだったらどうか」と問いかけ、「チューニングが不要で、高速にデータロードの更新ができ、最小限のメンテナンスで運用できるDWHアプライアンス」がそれを可能にするテクノロジーだとアピールした。
法華津氏は、DWHアプライアンスの簡便さを、文字どおりの家電(appliance)になぞらえて説明した。
「家電量販店に行って冷蔵庫を購入すると、自宅まで配送してくれる。
届いたら電源プラグをコンセントに差し込むだけですぐに使えるようになり、後は食料品を放り込んでおくだけである。
これとまったく同じようにDWHを運用できたらどうか。
DWHアプライアンスはそんな発想から開発された製品である」ここ1、2年の間に、高速な分散処理を可能にするHadoopをはじめとして、ビッグデータを活用するための技術に注目が集まるようになった。
ビッグデータの時代に、なぜ、あらためてDWHなのか。
この問いに法華津氏は次のように答えた。
「量・種類・生成頻度の“3つのV”が極まったビッグデータが日々入ってくる一方、ユーザーは自身の手元にあるデータすら活用に苦慮し、その鮮度は落ちていくばかりだ。
そんな状況だからこそ、データを放り込んですぐに答えが出せるようなソリューション、すなわちDWHアプライアンスが必要になる」IBMが提供するDWHアプライアンス「IBM Netezzaアプライアンス」は、ビッグデータおよびDWHの分析に特化した専用システムである。
開発元のネティーザが市場に投入したのが2003年で、2010年にIBM製品ファミリーに加わっている。
登場当初はDWH用途のみであったが、時代のニーズに応える形で、高度な分析が行えるように搭載ソフトウェアが改善されて今に至っている。
Netezzaの製品ラインアップを構成するモデルは3タイプ。
最小構成となる「Netezza 100」は、開発およびテスト用に提供されるモデルで、最小1TB〜最大10TBのデータに対応する。
「Netezza 1000」はメインストリームのモデルで、最小1TB〜最大1.5PBに対応する。
「Netezza C-1000」は、Netezza 1000よりも処理能力は若干低いが、最小100TB〜最大10PBもの大容量データが扱え、クエリ投入が可能なアーカイブ/バックアップ/DR(災害対策)向けモデルとして位置づけられている。
Linuxサーバをはじめ標準的なハードウェアコンポーネントで構成されるNetezzaの最大の特徴が、「非対称型超並列処理(AMPP)」と呼ばれる並列処理アーキテクチャだ。
法華津氏は次のように説明する。
「ブレードサーバに搭載された最大960個のCPUコアが、1つのSMPホストからの命令で同時に処理が走る。
