これは、Hadoopがオワコンとかそういう訳ではなく、もうすでにHadoopが浸透しきって、MapReduceによるバッチ処理はひと通りやり尽くしたので、次になにを?、という感じで、MapReduceが苦手としていた繰り返しの処理に強いSparkが、特に昨今の機械学習への注目と相まって、まさにブレーク一歩手前、という感じになっていた、というのが正確な表現でしょう。DatabricksのCTOのMateiさんのトークからもその勢いがうかがわれます。DatabricksSparkの利用実態は?皆さんまだ検証段階というのが実情のようでした。これからまさに本番投入していく直前、という感じを受けました。Netflixの話pinterestの話なので、これからどんどん本番投入しました、という感じの動きが出てくるのでしょう。実際、これまでのSparkの話は機能的な側面の話が多かったですが、今回のStrataでは機能の話以上に、チューニングや内部的な仕組みの話を行って、実運用を始めた時にぶつかる壁の回避策等を伝播しようとしている感じを受けました。DatabricksStream処理も熱いMapReduceを用いたバッチ処理が一巡し、次に注目が集まっているのがデータ処理のPipeline化に伴うStream処理の話のように感じました。この領域は現状だとKafkaを組み込んだアーキテクチャ一択な印象を受けました。Kafkaを中継地点としたPipelineの構築が事例としても多く上がっていました。Kafkaまわりのトピックとしては、SparkとDatabricksの関係のような感じで、Confluentという会社があったり、LinkedInのベンチマーク結果は驚異的であったりという感じでしょうか。アーキテクチャもかなり面白いものになっています。Kafkaとのコンボでは、これまではStorm一択だったところに、SparkStreamngや、SamzaのApacheトッププロジェクト昇格などにより選択肢が多様化している状態です。正解はないにせよ、Sparkエコシステムに乗っかりやすいSparkStreamingは大きな注目を集めていました。実際に、Strata内でも一つのセッションとして紹介されていました。Databricksインメモリの分散DB系の台頭Sparkよろしく、メモリをうまく使う系のDBも存在感を示していました。MemSQL、VoltDB、AeroSpike、などなど...詳細はちゃんと見ていないですが、それぞれACID特製をサポートしており、データのロストも無いと言っていたので、耐障害のところも考えられているのでしょうね。MemSQLなんかは割と舐めていましたが、デモでは恐ろしくパフォーマンスが良いように見えました。Mesosの話が上がってきていました。Mesosを体現しているOSSが出てきており、MapRのTedさんがメンターをしているようです。いう訳で、何がしかの狙いがあるプロダクトのような気がしますが、真相は分かりません。その他あれこれ書き始めるとキリがないのですが、相変わらず機械学習の話題はホットですし、その中でもDeepLearningは注目を浴びているようです(日本と同じですね)。個人的には、アルゴリズム的なブレークスルーはもちろん、GPUの力技合戦に見える部分もある中で、DeepLearningとSpark等がどうか変わっていくのかは注目しています。Sparkという意味では、H2OやDeepLearning4J等に注目が集まっているように感じます。話を聞くとH2Oは思った以上に評判が良く、開発スピードも非常に早いようでした。さあどうしよう?という感じで、個人的にはSpark+αのビッグウェーブを感じ、「乗るしかない!このビッグウェーブに!!」という感じです。19という感じで、何かできるといいな~、という感じです。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。