(outdated)ホームhadoop2013年の象(Hadoop)四方山話hadoop2013.12.01Hadoopアドベントカレンダー2013、1日目です。Hadoop(以下Hadoop)。運良く初日を取れたので、2013年のHadoop関連の話題をまとめてみました。※このブログの内容は所属している組織には関係なく、個人的な雑感です。間違いがあればご指摘下さい。※なお、中立的に書いているつもりですが、多少偏りがあるかもしれません。日本でのHadoop関連イベント日経トレンディの技術部門でHadoopが10位に!?当初はベスト10にしようと意気込んでブログを書いていたところ、ものすごい長文になったので、涙をのんで3つに絞りました。漏れたネタはおいおい紹介します。Cutting氏らによってHadoopの最初のバージョンが公開されました。その後Hadoopは順調に成長を続け、昨年1.0.0が公開。2.0系は長らくアルファ版、ベータ版で公開されていましたが、ついに先月正式版がリリースされました。2.2.0で何が変わったのか?興味のあるところを大雑把に。HDFSネームノードが高可用性に対応。[*2]HDFSスナップショット機能に対応NFSv3に対応キャッシング機能を搭載(予定)HDFSはマスターノードが単一障害点、エンタープライズじゃ使えない!と言われてきました(まだ言っている人も。)が、ネームノードは高可用性に対応しています。象本3版、またはパカ本、徹底入門2版あたりにも書かれているので、ウェブで見かけたら記載日時をチェックしましょう。スライドシェアならこのあたりが参考になるかもしれません。少なくともCDH4に関しては、ネームノードとジョブトラッカーはともに高可用性に対応しており、多くの環境で高可用性で動作しているの実績があります。2.2.0からはNFSv3にも対応し、NFSクライアントからHDFSをマウントできるようになっています。いくつかの制限はありますが、非Hadoop環境との間でファイルのコピーを行いたい場合には便利ですね。以前試してみましたが、普通にあっさりと使えました。NFSv3を試したブログその他、HDFSのスナップショットやHDFSでのキャッシングに対応する予定など、機能は追加され、性能は改善され続けています。最近のHDFSのパフォーマンス、数年前と比べるとかなり向上しています。今後導入HDFSのキャッシングも導入される予定。個人的にかなり期待しています。APIの3つのコンポーネントをひとつで担っていました。Negotiator)が行い、MapReduce(MRv2)はYARN上で動作するアプリケーションとして、フレームワークとAPIとを提供します。従来のMapReduceでは管理者が設定した「スロット」の数に基づいて、スレーブノードに処理を振り分けていましたが、YARNではメモリとCPUコアの「リソース」に基づいて処理を振り分けるので、効率的なリソース管理を行うことができます。Impalaなども対応してきています。今後の分散処理基盤としての地位を築いていくのでしょうか。いえMRv1に慣れている方にとっては、わざわざ新しい環境に移行するのをためらう方も多いでしょう。幸いなことにMRv1とMRv2にはコンパチビリティがあります。HiveやPigなどの利用者は、抽象化されているのであまり気にしなくても良いのかもしれません。(しかし、設定方法、運用テクニック、チューニング手法、トラブルシュートなどが大きく変わるので、管理者は大変でしょうが。Impalaに続き、今年はいくつかの分散クエリエンジンが公開/アナウンスされています。そのうちのいくつかを紹介。Impalaは昨年リリースされた分散クエリエンジンです。Apacheライセンスでソースコードが公開されているオープンソースソフトウェアで、GoogleのDremel、GoogleのF1に影響を受けて開発されています。C++で開発され、技術的にはMapReduceを使わずに分散処理を行います。アーキテクチャはClouderaのブログの絵がわかりやすいかもしれません。近々オライリーさんからImpalaのフリーブックの日本語版がダウンロードできるようになる予定です。上で動作することを目指しています。Prestoは先月Facebookがオープンソースで公開したクエリエンジンです。Impalaと似たアーキテクチャーになっているようですね。(incubator)はGoogleのDremelを参考に開発が始まったオープンソースソフトウェアですが、現時点ではアルファ版のようです(あまり情報がなかったので、どこまで動作するのかは不明)他にも「HiveよりXX倍速い」というフレーズのニュース記事を見かけることも多い、かなりアツい領域です。HadoopのセキュリティHadoopは、当初検索エンジンのインデックスを作成するために開発されたということもあり、比較的最近になってからセキュリティに対する取り組みがされています。最近ではHadoopがより多くの用途で利用されるようになり、必然的に重要な情報を扱うケースも増えたことから、セキュリティに関する話題も増えています。(Incubator)。(slideshareはこちらがわかりやすい)。HDFSでの暗号化に関するチケットもあるようなので、いずれは暗号化も対応するのかも?。いうことで、HadoopでKerberos認証を利用する企業は既に一般的になってきています。エンタープライズでの用途が増えるに従い、セキュリティは強化されていくことでしょう。HadoopのGUI、HueHadoop用に開発されているブラウザベースのGUI、Hue(「ひゅー」と読む)はオープンソースで開発(https://github.com/cloudera/hue)されており、ClouderaのCDHだけではなく、多くのディストリビューションで採用され始めています。Hueに関してはHadoopオペレーションの付録に寄稿したり、このブログでも何回か取り上げていますが、個人的に一押しです。Hueによりコマンドラインを使う必要が減るため、多くの方にとって嬉しいツールでしょう。Hueのブログを日本語化を手伝っているので、興味があれば是非ご覧下さい。Hueは新機能がどんどん実装されています。Sparkにも対応しつつあります。HueはHadoopのユーザー用GUIツールとしての大本命[*3]ではないでしょうか。日本語のHadoop関連の書籍も増えましたね。(@tamagawa_ryuji)さんには感謝してもしつくせません。日本語の情報もますます充実していくといいですね。(思えば当日インフルエンザで自宅謹慎になり、@dice_氏にImpalaの発表を代打をしてもらった思い出がm(__)m)。2013など、多くのイベントが開催されています。Tokyoではデータサイエンス系のセッションも多く、Hadoopが多くの領域で利用されていることがわかります。日経トレンディの技術部門でHadoopが10位に!?日経トレンディによる「今年、社会にインパクトを与えた技術ベスト10」の第10位に「Hadoop(ハドゥープ)」がランクイン。象のパワー、恐るべし、、、まとめここ数年のHadoopアドベントカレンダーを見ると、数年前はHadoopの技術的な話が多かったようですが、今年はかなり多様化していますね。アドベントカレンダーは明日以降も興味深い内容が多く楽しみです。何と言ってもエイプリルフールのネタになるぐらいですから。Managerも一押しです。Enterprisezineで記事を連載しているので、興味があればご一読下さい。?Hadoopオペレーションの2版も登場しそうとのこと。いつ発売されるんでしょうね。今年はHadoop関連本が数多くリリースされる一年になりそうです。UPClouderaのHadoop管理者向けトレーニングがアップデートされました。この内容を4日間でやるのは時間が足りないぐらいですが、管理者に必要な要素が満載です。...hadoopHadoopを10分で試す(2)Clouderaの仮想マシンを日本語化**この記事の内容は若干古くなっています。VMを起動させるところまで試しました。今回は日本語化を行います。昨日ツイッターにも書きましたが、サッカーの試合でセンサーからのデータを収集し、ClouderaのImapalaで分析するという例がClouderaのブログに掲載されています。(HDFS-HA)の環境を構築しました。ネームノードのWebUIのスクリーンショットを取ったので、自分用に貼っておきます。コメントをキャンセルメールアドレスが公開されることはありません。*サイトProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。