最近注目を集めているが、幾つかの点で問題もHadoopはホットだ、だがその従兄弟であるSparkは更にホットな存在だ。Sparkは5年前のApache Hadoopの様な存在で、バークレー大 AMP研で生まれた、Hadoopのエコシステムで動くMapReduceに代わる高速データ処理エンジンだ。これは（MapReduceの様な）バッチ処理および、ストリーミングやインタラクティブ・クエリーといった新しいワークロードや、機械学習やグラフ処理でよく見られる反復