一般的に、Hadoopは同一構成のサーバを大量に並べる方が、運用が簡単です。非均一な構成は、特に設定ファイルの管理、チューニングが厄介です。HDFS」というチケットを見つけました。これは、データノードを「単一のストレージ」として扱うのではなく、データノードを「ストレージのコレクション」として扱うところです。ストレージのコレクション?HDFSは、データノードが使用しているストレージの種類、ファイルシステムの種類に関与しません。/dev/sdaはHDDでext4、/dev/sdbはSSDでxfs、、という構成も可能です。これは良い点もあるのですが、例えば特定のデータはSSDに、それ以外はHDDに、というような書き込みを行うことはできません。このチケットではHDFSにストレージの種類の情報を持たせる拡張を行い、上記のようなデータの種類によるストレージの選択や、ブロックのレプリケーションも一つはSSDに配置するなど、柔軟な構成が取れることを目指しているようです。先は長そうですが、SSDが普及してくるに従ってこのようなチケットが増えてきそうですね。夏なので、軽いネタをいくつか投稿していきます。Hadoopって圧縮ファイルをサポートしているよね?例えばgzipとかbzip2とか。何でzipはダメなの?意味わからへん。いう質問をもらったので、Jiraを調べてみました。2013で講演をさせていただきました。UPClouderaのHadoop管理者向けトレーニングがアップデートされました。この内容を4日間でやるのは時間が足りないぐらいですが、管理者に必要な要素が満載です。今年はHadoop10周年です。過去のリリース履歴をいくつかピックアップしてみました。Managerを使ったHadoopの運用について、数回に渡って連載予定です。Hadoopの運用においても基礎知...hadoopHadoopを10分で試す(3)HueからHiveとImpalaのクエリを実行する**この記事の内容は若干古くなっています。いうHadoopのGUIツールも日本語化されています。GAリリースProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。