今はポストHadoopの時代なのか。3.0」は機械学習アプリケーションとクラウドシステムで成功を収めており、まだその時代は終わっていない。Hadoop」はかつてのような目新しい存在でも、華々しい存在でもなくなった。3.0」のデビューに反映されている。それを表す事例として2017年、かつて“Hadoopカンファレンス”として知られていた複数のイベントから、Hadoopの名が消えた。Spark」および「TensorFlow」のようなツールが、ビッグデータの取り組みの多くで注目を浴びるようになった。3.0リリースに伴う宣伝が控え目だったことに、それほどの驚きはない。今回のリリースには特筆すべき進化がある。登場から11年になるこの分散型データフレームワークのアップデートでは、ストレージ条件が低くなり、最新のグラフィックス処理ユニット(GPU)リソース上でのクラスタプールが可能になり、新しいフェデレーションスキームが加わって、要となるリソースマネジャーのYARNとジョブスケジューラが1つのクラスタで実行できるHadoopノードの数が大幅に増大した。この後者の機能は、多くが目指していると思われるHadoopクラウドアプリケーションに利用できる。「YARNのためのフェデレーションは、はるかに大型のクラスタへの拡張を意味する」。Committee(PMC)のメンバーでもあるカルロ・オルド・キュリノ氏はそう語る。System(HDFS)クラスタの前に置かれるようになったと同氏は解説する。リノ氏は、PMCメンバーとしての立場で話をしているのであって、Microsoftの立場から話をしているのではないと強調する。Azure」のようなクラウドで役に立つと付け加えた。「最大級のHadoopクラスタ(の大半)は、これまでは数千ノードの前半の規模だったが、ユーザーは数万ノードへの拡張を望んでいる」と同氏は言う。Hadoopアプリケーションに、YARNを実行している何百万台ものマシンが含まれるようになれば、フェデレーションもそこに到達する必要が生じると同氏は指摘する。将来に目を向けると、Hadoopの今後のアップデートではYARNにスポットが当てられると同氏は予想する。2.0では、YARNが最大の焦点だった。これは特に、もともとのMapReduce処理エンジンへの依存状態からHadoopを切り離したことによる。3.0で中心的な役割を担っていることに意外性はない。リノ氏の予想では、YARNは分散型アーキテクチャの中で重要な新トレンドを推し進める。「YARNはサーバレス運動の原点だった」と同氏は言う。サーバレスのコンピューティングスキームは、Dockerコンテナを背景に浮上して存在感を増している。3.0に盛り込まれた重要なアップデートの一部は、これまでのポイントアップデートの中で醸成されてきた。設定を有効にする必要があります。製造IT流通IT医療ITTechTargetサービスホワイトペーパーホワイトペーパーキーワードホワイトペーパー提供企業一覧RSS一覧プレゼント&モニターITmediaはアイティメディア株式会社の登録商標です。