Tokyo参加レポートHiveSparkHadoop2016年11月07日じょんすみす(130)45この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。こんにちは、小澤です。Tokyoの参加レポートを書かせていただきます。Hive個々のセッションの内容については後日AGENDAページにスライドやビデオがアップロードされると思いますので詳細については立ち入らずいくつかの概要をピックアップしたのち、全体的な動向に対する感想を書かせていただこうかと思います。cloudクラウド環境でのHadoopのあり方を考える上で興味深い内容でした。Flowの紹介という側面が強かったように思えます。「Hadoopといえば大規模なオンプレ環境を構築するもの」という考え方からクラウドの活用への時代の変遷を見据えた内容になっていました。HDFSではなくS3などのオブジェクトストレージにデータを保存することで得られるメリット・デメリットの話は多くの方にとって気になる部分だと思うので公開された資料をみるだけでも参考になることかと思います。technologies2部構成になっており、後半の話が非常に興味深く聞かせてもらった内容となります。Curveの伸びまで考慮した自動チューニングの話となっておりました。やってみるまで上手くいくかわからないことも多いデータ分析でサイクルを早く回すためのアプローチとしてとても興味深い内容でした。ClustersこちらはプライベートクラウドにおけるHadoop/Sparkクラスタ立ち上げの際のリソース割り当てに対するトピック。コストとパフォーマンスというトレードオフの関係にある2点でどのようにバランスをとったコンピューティング環境を提供するのが適切なのかという話でした。遺伝的アルゴリズムを使った手法となっており、ある程度の前提知識がないと内容を理解するのは難しいかもしれませんがパブリック・プライベート問わずコンピューティング環境としてクラウドの利用を前提とした場合重要な課題となるであろう部分へのアプローチとなっているように思います。Hive最後のこちらは個人的にも関わりの深いHiveのLLAPのトピックとなります。Hadoopはパッチ処理のため速度面では期待できないという印象をお持ちのかたも多いかと思いますが、アドホックな分析やOLAPのような用途でもHiveを利用可能にしようというのが主なコンセプトとなっています。基本的な機能に関してはこれまで変わらずではあるが、今回のひとつの大きなトピックとしてSparkからの利用があげられるかと思います。Frameとして利用できるという内容でした。これによる利点としてテーブルのカラムレベルでのアクセスコントロールがしやすくなるという点があげられていました。明確に話しておりませんでしたがLLAPのキャッシュが利用することで入力時からすでにインメモリが実現できるのは一つ大きいと思います。Zeppelinをデータサイエンスに利用したもの、クラウド上でHadoopを動かす話の2点がったように思います。活用事例などをみていてもHadoopだけでなくSparkでさえ、もうすっかり「これから検証する技術」ではなく「すでに活用している技術」の傾向が強まっているように感じます。今後この2つの流れはさらに加速していくかと予想しています。現在alpha版が出ているHadoop3.0ですが、こちらはより大規模なクラスタを想定しての新機能が多ように思います。v.2など、大きなトピックとなる部分が、大規模な環境で特にボトルネックになる部分への対策になっているのが伺えるかと思います。最後に、リアルタイム処理系の話は今回はあまり聴講していませんでしが、こちらもセッション数が多くホットなトピックの1つと言えるのかもしれません。ACEの人やってます。機械学習をしたりHadoopをいじったりしてるエンジニア。〜ITエンジニアのお仕事とホンネ〜2月19日に新卒向けの会社説明会〜ITエンジニアのお仕事とホンネ〜を開催します。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。#cmdevio新型コロナウイルスの感染拡大を受け、本イベントを延期させていただくことになりました(開催時期未定)。お申し込みいただいた皆様には大変申し訳ございませんが、何卒ご理解いただけますようよろしくお願いいたします。AWSについてライトに色んな情報交換をしましょう。カフェ店長のオカノです。使いたいときの注意点を書きました。EC2)環境において、不要な踏み台サーバをなくすことができる便利なアップデートです。環境をDockerで構築してみました。臼田佳祐295ワークフロー自動化OSSのn8nをAWS環境で建てて検証してみました。非常に期待できるサービスです。Fargateの勉強をしています。使ってみたい方は参考にしてください。洋介252SnowflakeがAWSの東京リージョン上で稼働するようになりました。データを日本に置けます。芳賀健231こんにちは!猫様の忠実なるしもべ、芳賀健です。Tokyoで開催されました。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。