2016Hadoop2016年12月25日じょんすみす(126)0この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。こんにちは、小澤です。25日目のものとなります。このアドベントカレンダーも今回で最終回となります。Developers.IO前回はHadoopの活用事例について書かせていただきました。今回はアドベントカレンダーでテーマとしてあげられなかったトピックがまだまだあるのでリスタップさせていだきます。はじめに最終回ですが、これまでに言及できなかったトピックも多いのでそれらについて項目だけでもあげていきたいと思います。可能な限り多くの話題に触れたいと思っていたのですが、様々なエコシステムたちがうごめくHadoop界隈ではそれはなかなか難しいようです。Hadoopを取り巻くエコシステムたちでは、どんどん上げていきましょうPhoenixHBaseをSQLで操作するためのものです。Ozoneいわゆるオブジェクトストレージといわれる領域のものです。HDFSのように一度入れたら更新も削除もしないデータを入れとくのではなく、そういった操作が発生するような前提のものになります。Kerberos認証・認可を担当するものになります。Kerberos自体はHadoopのためにあるわけではないのですが、Hadoop上でこの手の機能が欲しい場合のデファクトスタンダードです。Sentryアクセスコントロールのためのものです。HDFSはUnixライクなパーミッションのコントロールのみなので、それ以上に細かく設定したい場合などのお供に。HDPクラスタ構築の話は今回しませんでした。実際にクラスタを構築することになった場合は、これらを利用することがほとんどでしょう。ManagerやAmbariとセットで利用することになると思います。Ambari先ほどの項目でも名前を出したAmbariですが、クラスタの管理だけでなくブラウザ上からHiveやPigを実行したりなどの便利機能があります。管理する側にとっても、利用する側にとっても便利な機能が備えられています。Solr全文検索エンジンのSolrですが、こちらもHadoopファミリーに分類されているのをよく見かけます。Hadoopとは関係なく動かすこともできるものなのですが、Hadoop関連の話題として入れてもよかったかもしれません。私自身があまり詳しくないということもあり、実は今回はこの辺りの話題に一切触れていませんでした。Stormなど様々あげられます。Streamingにも触れていませんでした。この辺りが気になる方は今あげたようなキーワードで調べてみるといいかと思います。しても複雑になる処理フローやデータの流れを管理するするためのものもいろいろあります。YARNYARNのリソース管理についても特に触れていませんでした。MapReduceやTezのようなYARN上で動く仕組みを自作することはほとんどないかと思いますが、リソース管理やスケジューリングは必要になる場面もあるかと思います。Cloudこちらもほとんど触れていませんでした。大量のデータを持っている大企業がオンプレミスで動かすというイメージの強かったHadoopですが、クラウド環境で動かす流れば確実にきています。EMRやHDInsightなどクラウド環境提供者が出しているサービスの他にClouderaやHortonWorksもクラウド上で動かすことを前提とした仕組みを出しています。この話題に関しては本当は優先的に1記事分取り上げたかったのですが、それはまた別な機会にさせていただきます。終わりに今回はアドベントカレンダー内で触れられなかった話題についてあげました。書いている時に忘れていただけで、実は他にもいろいろあったんじゃないかという気がしてなりません。そのくらいいろいろなものが存在しています。日進月歩でまだまだこの先どうなっていくのかわからない部分も多い世界ですが、利用シーンも確実に増えてきており、それの裏付けとも言えるかと思います。これにてこのアドベントカレンダーはおしまいです!ここまでお付き合いいただきありがとうございました。ACEの人やってます。機械学習をしたりHadoopをいじったりしてるエンジニア。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。〜ITエンジニアのお仕事とホンネ〜1月30日に新卒向けの会社説明会〜ITエンジニアのお仕事とホンネ〜を開催します。濱田孝治80EKS初心者の方向けに、EKS周辺のAWSリソースがどのように関連して動作しているのかをステップバイステップでEKSCTLが担っている役割を中心に説明しました。菊池修治45こんにちは、菊池です。VPNの冗長化について、最近何度か続けて社内で質問を受けましたのでまとめようと思います。大前諒祐26MediaLiveでの配信終了時に自動でアーカイブファイルをMediaConvertで変換する仕組みを作ってみました。武田隆志1179このエントリは、2018年、2019年に公開したAWS全サービスまとめの2020年版です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。クラスメソッドの関連会社であるアノテーション株式会社の研修として依頼を受け、チームと心理的安全性、それに礼節というテーマで話をしてきました。CAFEのサービスが「LINEアプリ」として利用できるようになりました。これまではLINEのトークから利用する形でしたが、LINEサービス内から利用できるようになりました。これまでより便利に、シームレスにご利用いただけます。Cafe328件のシェア(そこそこ話題の記事)インフラ未経験の私が内定から入社までに読んだ技術書11冊ブログ記事2020年01月16日Yui328インフラ未経験で入社した私がインフラを勉強するために読んだ技術書11冊を感想とともにまとめました。濱田孝治272「ふわわぁ、眠いな。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。