2016SparkHadoop2016年12月19日じょんすみす(125)16この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。こんにちは、小澤です。19日目のものとなります。Developers.IO前回はSparkのMLlibについて紹介させていただきました。Zeppelinというものを紹介したいと思います。Zeppelinとはブラウザ上でプログラムをインタラクティブに記述できるノートブックというものを作成するツールの一種です。notebook)があるかと思いますが、それと似たツールだと想像していただければと思います。今回は簡単な方法として、Hortonworksさんが提供するHDPのsandboxを利用します。これには、Ambariというものが入っています。これはHadoopのクラスタ構築に使えるものですが、それだけではなく構築後のクラスタに対する各種操作も行えます。アクセスするとZeppelinが使える状態になっています。使ってみる利用の仕方は簡単です。note」を選択します。適当な名前を入力して、次に表示された画面で自由にプログラムを書くことができます。この画面では、Scalaだけでなく、PythonやSQLの記述もできます。Marketingデータを利用しての簡単な例を見ていきたいと思います。dockerなど)のHDFSに置いてください。以下の例では、/user/zeppelin/bankにデータを置いています。/user/zeppelin/bankこの状態であとはSparkでの処理を実装するのみとなります。Zeppelinの便利なところの1つはSQLは自動的に表やグラフの形式で出力してくれて、それをインタラクティブに操作することができるとこあります。ボタンひとつで表示するグラフを変更したり、settingsで軸などの値の変更も可能です。右上のある設定によってこの一部表示にしたり、レイアウトを変更することも可能です。その他の機能その他にもZeppelinには、様々な機能があります。フォームを設置を設置するば、変数をプログラムの外から動的に扱えたりしますし、同一ノートの複数人による同時編集も可能です。他の機能については導入した環境にサンプルがいくつか含まれていると思いますので、そちらも参考にしてみてください。終わりに今回は、Zepplinについて書かせていただきました。ZeppelinはインタラクティブにSparkを利用するのにとても便利なツールです。notebookなどと役割がかぶっている部分も多いですが、Sparkを提供しているHadoopクラスタなどにすでに導入されていばその環境をそのまま使えるなどの利点もあり、今後の活用事例も増えていくことかと思います。Learningを動かす方法について書かせていただく予定です。ACEの人やってます。機械学習をしたりHadoopをいじったりしてるエンジニア。〜ログ収集、監視、分析を触って体感しよう!〜」を開催しますお申し込み受付は終了しました。ありがとうございました。今後セミナーのお知らせを受け取りたい方は、こちらからご登録をお願いします。CAFEのサービスが「LINEアプリ」として利用できるようになりました。これまではLINEのトークから利用する形でしたが、LINEサービス内から利用できるようになりました。これまでより便利に、シームレスにご利用いただけます。Cafe300件のシェア(そこそこ話題の記事)インフラ未経験の私が内定から入社までに読んだ技術書11冊ブログ記事2020年01月16日Yui300インフラ未経験で入社した私がインフラを勉強するために読んだ技術書11冊を感想とともにまとめました。平野重利123Pythonで、標準入力を変換して標準出力に出すCLIプログラムのテンプレートをご紹介します。菊池修治47こんにちは、菊池です。勉強会#1に登壇しました。サーバのみならずネットワーク機器の仮想化も年々進んでいます。スペックに縛られないこととか、展開のしやすさとか初期考慮点が少なくなるのは嬉しいです。武田隆志1098このエントリは、2018年、2019年に公開したAWS全サービスまとめの2020年版です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。CAFEのサービスが「LINEアプリ」として利用できるようになりました。これまではLINEのトークから利用する形でしたが、LINEサービス内から利用できるようになりました。これまでより便利に、シームレスにご利用いただけます。Cafe300件のシェア(そこそこ話題の記事)インフラ未経験の私が内定から入社までに読んだ技術書11冊ブログ記事2020年01月16日Yui300インフラ未経験で入社した私がインフラを勉強するために読んだ技術書11冊を感想とともにまとめました。悠紀235ShifterはWordPress環境をサーバーレスで立ち上げ、静的なサイトを生成することができるサービスです。FAQサイトをサクッと作ってみました。Takumi227こんにちは。DA事業本部の春田です。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。