Hadoop採用の鍵：ビッグデータを小さく始める方法

膨大なデータを取り扱うためのHadoopを小さい規模から始める戦略が今注目されている。

Hadoopはビッグデータの申し子だ。これまで企業のビッグデータ採用にあたって、恩恵と災いの両方の役割を果たしてきた。非常に強力だが複雑であるため、多くの企業がビッグデータのプロジェクトを開始する前にもっと簡単な技術が登場するのを待ち望んでいた。

もう待つ必要はない。HortonworksやClouderaのようなベンダーのおかげでHadoopは猛烈な勢いで成長を遂げ、非常に使いやすいものになった。今では以前の半分の時間で学習することが可能だ。企業のビッグデータに対する取り組みも本格化してきており、ベーシックなETL作業からより高度なHadoopデータ解析へと移行しつつある。

企業がHadoopを使ってビッグデータに取り組み始めた背景には、Hadoopの導入にかかる手間が以前より小さくなったという流れがある。

Hadoopの普及

「小さい」という単語はHadoopには似つかわしくない。しかしながらビッグデータの実情を表すにはぴったりなのだ。よく「ペタバイト」や「ゼタバイト」という単位が使われているが、実際にペタバイト規模の問題を抱えている企業というのはほとんどない。少なくとも、企業が取り扱い方法を学んでいる規模に該当する問題というのは、現時点では存在しないのである。

NewVantage Partners社が行った調査によると、各企業が主に関心を抱いているのは、新しいタイプの非構造化データを扱う方法だ。Gartner社もこの点を指摘し、「多くの企業は、ボリュームや速度よりも、ビッグデータの持つ多面性がより大きな課題であることに気付いている」と述べている。

優秀なHadoopベンダーたちは、企業が小規模なスケールから展開を開始し、徐々に拡大していけるようにメッセージングを改良した。Hortonworksの戦略責任者であるショーン・コノリーは次のように述べている。

新しいタイプのデータに注力した採用を行い、その後徐々に対象とするアプリケーションの範囲を広げていくという反復的なパターンがよく見られます。新しいアプリケーションは通常ビジネスの種別に従って決定され、データ・タイプは次のいずれかになる場合が多いです：ソーシャルメディア、クリックストリーム、サーバー・ログ、センサー＆マシン・データ、位置データ、各種ファイル（テキスト、動画、音声 等）。

より多くのアプリケーションと新しいタイプのデータを展開することは、最終的により広範でモダンなデータ・アーキテクチャにつながります。これまでに成功してきた顧客は皆、最初は特定の種類に属するデータの値を解き明かすことからスタートし、そこから反復的に浸透を行ってきたのです。

小さい適度な規模からHadoopプロジェクトをスタートすることは、Hadoopの価値を発揮するのに最適な方法だ。これなら企業も大規模な先行投資を行う必要がない。これまで企業をそのあまりにも膨大な機能性で圧倒してしまっていたパワフルな技術に対し、これは非常にスマートな戦略である。

ビッグデータを小さく始める

こうした経緯の中、Hadoopが人々の話題に上る機会も増えてきている。しかしビッグデータを話題にする人は多くても、有意義なビッグデータ・プロジェクトに実際に着手する人の数はまだ少ない。Gartner社によれば、64%もの企業がビッグデータ・プロジェクトを展開したいと望んでいるにも関わらず、実際に展開している企業はわずか８％にすぎないという。しかしHadoopの前評判に、現実的で達成可能なビジネス価値の提供が追いついた今、Hadoopベースのビッグデータ・プロジェクトに従事する企業の割合は増えていくに違いない。

実際、今日のビッグデータ・プロジェクトの大半は、既存のユースケースを徐々に進化させることに重点を置いたものだ。例えば顧客ニーズの理解やプロセスの効率化、コストの削減、あるいはリスクの発見率などを改善するのである。ビジネスを劇的に変貌させるなどと騒がれているが、ほとんどのビッグデータ・プロジェクト（拡大解釈すればHadoopプロジェクト）というのは世界を変えてしまうような類いのものではなく、地道な改善に焦点を当てたものなのだ。

これは理にかなっていると言える。企業はまずよちよち歩きでHadoopの実現可能なプロジェクトからスタートし、次第に技術をマスターし、それから「ビッグ」なデータに取り組むのである。

2014年にはHadoopの採用が加速するだろう。Hortonworksのショーン・コノリーとClouderaのマイク・オルソンはどちらも、2013年の後半からビジネスのペースが急上昇していると述べている。この加速は、企業がいかに手軽にHadoopの恩恵にあずかれるようになったかを、HortonworksとClouderaが喧伝してきた結果である。そして、Hadoopの導入が本当に手軽になっている証拠でもある。

今後、Hadoopがプロジェクトの展開をより小さい規模から始められるようにすればするほど、結果的に採用事例は大きくなっていくことだろう。

画像提供：Shutterstock

Matt Asay
[原文]