公開800ノード超のSparkクラスターを運用するユーザーも:Sparkのエンタープライズ対応が「成熟」——Clouderaが宣言HadoopディストリビューターもあらためてSparkへの注力をアピール。800ノード超のSparkクラスターを運用するユーザーも存在するという。Sparkへの対応が「成熟した」とのリリースを発表した。MLlibへの対応を発表していたが、今回、あらためてSpark対応の「本気度」とHadoopプラットフォームとしての統一性を強調したかたちだ。SQLとMLlibに対応したことで、バッチ処理、ストリームデータ処理、機械学習などのユースケースをより快適なものにしていくだろう、としている。Hadoopや周辺の開発プロジェクトに参加している。Things)アプリケーションやシンプルなバッチプロセッシング、ネイティブな機械学習といった大規模なデータプロセッシングのユースケースを想定してSparkのプログラムを成熟させてきたという。Cloudearaは「顧客はエンタープライズ品質でのストリームデータプロセッシングエンジンを求めてきた」と、Spark開発プロジェクトへの貢献の理由を説明する。Hadoopを運用する顧客を持つことになった。中には800ノードを超えるSparkクラスターをマルチテナントで運用しているケースもあるという。beta」をリリースしている。SQLのデータスキーマと互換性があるため、「ライトユーザーがシームレスに利用できる」という。Intelligence)も同一プラットフォームで実施できることを強調している。Clouderaでは、今後、Sparkのセキュリティ、スケーラビリティやストリーミング処理能力向上などを目指して開発体制を強化するとしている。関連記事Hadoop+Embulk+Kibanaのデータ集計基盤によるデータ可視化と集計データを活用したキーワードサジェストの仕組みリクルートの事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する連載。今回は、ログデータの分析および可視化の基盤を構成する5つの主なOSSや集計データを活用したキーワードサジェストの事例を紹介します。Learning」です。全体のプロセスを見ながら体験して理解してみましょう。Impalaのポテンシャルをレビューした2012年10月24日に発表されたばかりのHadoop用リアルタイムクエリエンジンをいち早くレビュー。MapReduce(EMR)の一部として、オープンソースのHadoop用クエリツール「Impala」が使えるようになった。Hadoopが実用段階に:Hadoop用クエリエンジン「Impala」がついに一般公開に「Hiveの10倍速い」クエリエンジンが一般公開に。最新の列指向データフォーマットなどにも対応している。メールマガジンをご購読ください。申し込みページへITmediaはアイティメディア株式会社の登録商標です。