2019.09.11数年前から「Hadoopは終わった」と言われることがあります。プロジェクトを指しますが、現在では異なる意味で使われていることも多いです。Hadoopは時代と共に消えたソフトウェアなのでしょうか?@shiumachiの「Hadoopの時代は終わった」を正しく理解するの記事は、Hadoopを取り巻く環境の変化について書かれています。データ基盤の歴史に始まり、時代とともに変化し、現代におけるデータ基盤になっているという考察があり必見です。Philosophy")、という表現が使われています。英語だとなかなか日本人は読まないので日本語記事を公開して欲しいところです。(が、Google翻訳等に貼り付けても読めるので、読もうと思えばそんなに大変じゃない)。著者に許可を取って全文翻訳とも考えましたが、いつどこで公開するかなどを考えているうちに面倒になって断念。面白いので、興味深い範囲だけ抜粋してみました。誤訳等あれば指摘してください。Foundationで、バッチ処理用のHDFSとMapReduceを使用した単一のオープンソースプロジェクトとして始まったが、すぐに広範囲で豊かなエコシステムを生み出した。現在のClouderaディストリビューション(CDH/HDP/CDP)には、ストレージ、コンピューティングフレームワーク(YARN,将来はKubernetesなど)、バッチ/リアルタイム計算フレームワーク(Spark/Flinkなど)、オーケストレーション、SQL、NoSQL、機械学習、セキュリティ、ガバナンスなどの30を超えるオープンソースプロジェクトが含まれている。(略)個人的には、「Hadoop」とは哲学であり、データを管理および分析するための最新のアーキテクチャーへの動きである。Tompsonの有名なUnixの哲学はソフトウェア開発のことである。データアーキテクチャーにも当てはまる。(ここも面白いが略)クラウドはどうかプライベートを含むパブリッククラウドは、これから企業がデプロイするアーキテクチャーの不可欠な部分になることは明らかである。パブリッククラウドは基本的にエンタープライズハードウェアのインフラ(サーバー、ネットワーク、データセンターなど)を商業化したものだ。哲学の信条、つまりコモディティーハードウェアに焦点を当てたものと完全に一致している。(略)ClouderaはどうかClouderaはデータ企業であり、データを明確で実用的な洞察に変える力を人々に与える。「Hadoopの哲学」を採用することでそれを実現する。(略)先日、ソーシャルメディアでこんなコメントを見た。「CDPでKubernetes上で実行されているSparkを使用してS3にあるデータを分析する場合、Hadoopはどこにあるのでしょうか。私は大声で笑って考えたCDPサービスを使用している限り...。:-)(略)CDPの基本的な目標は、クラウドサービスとして、強力なテクノロジーの複雑さに対処する必要なく、企業がプラットフォームから価値を引き出すことを容易にすることである。データウェアハウスと機械学習のためのネイティブなSaaSのようなサービスでCDPを提供するエクスペリエンスは、クラウドオブジェクトストアに保存されたデータ分析を推進するビジネスユーザにとって本当に簡単なものにする。SDXでは、ABACによって完全に保護されたデータレイクをセットアップし、オブジェクトストアに保存されたデータとオンプレミスのHDFSに保存されたデータに渡ってきめ細かいポリシーを設定することは、ガバナンスと暗号化(ストレージと通信)のためのリネージと来歴とともに簡単になる。多くの企業のお客様から寄せられたフィードバックを見ても分かるように、この分野での進展は非常にエキサイティングだ。Hadoopは死んだのか?Hadoopについての古い考え方は死んだー終わった、埃をかぶってしまった。Hadoopは、データを洞察に変える力を人々に与える、オープンソーステクノロジーとオープンデータ標準の進化し続けるエコシステムを推進する哲学として生きており、永続している。データがある限り「Hadoop」がある。Hadoopは死んだ。結論:「Hadoop」は面白い。前にレビューのお手伝い(*1)をさせていただいた書籍、オライリーから「プログラミングHive」が出版されます。翻訳は象本や馬本などでおなじみ、読み易さ、安定感抜群の玉川さん。Hiveは良本だと思いますが、原書は複数の人が書いているためか、動かないサンプルが多いです。2.5でHBaseアプリを動かす(成功編)昨日失敗したHue2.5、ようやく成功したので手順を書いておきます。ダウンロードできます。最新版を使うため、githubにあるソースをクローンしました。?Hadoopオペレーションの2版も登場しそうとのこと。いつ発売されるんでしょうね。今年はHadoop関連本が数多くリリースされる一年になりそうです。「象本」の愛称で有名な、O'ReillyのHadoop。コメントをキャンセルメールアドレスが公開されることはありません。*サイトProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。