)に関する取組みをご紹介します。Functions(その1)Sparkはじめまして、ブレインズテクノロジーのポンセです。1.4で追加されました。Functions、ランキングや移動平均値等々の集計を行うときに非常に便利です。Functionsについて簡単に書きたいと思います。通常の集計関数とは異なり、inputの行毎に結果が返ります。言ってもわかりにくいので、何ができるのか下の例でみてみます。例Sparkのversionは1.4.1です。valueからなるテーブルに対して、metricsごとでのvalueの平均値を取りたいとします。通常の集計関数を使う場合は以下のようになります。AVG(value)=60.0)]各metrics毎での平均値が単一のレコードで返ってきます。Functionsを使うと以下のようになります。60.0|+-------------------+-------+-----+-------+各行に対して、metricsごとの平均値が返ります。行毎に結果が返るということは以下のように使うことも可能です。-20.0|+-------------------+-------+-----+-------+---------------+各value値と平均値との差を新たなカラムとして追加することができました。平均値との差が〜より大きいや小さい等のフィルターを組み合わせることで、特定の行に対する調査も簡単にできそうです。FunctionsではorderByも指定できます。60.0|+-------------------+-------+-----+------------------+先ほど算出した平均値とは値が変わりました。このaverageの値は移動平均の値となっています。orderByにtimestampのカラムを指定することにより、各metricsごとに、timestampの最初の行からの平均値を計算しています。これまでの例は平均値でしたが、これ以外にも様々な集計関数がpysparkでサポートされています。Functionsがサポートされて、簡単で高度な集計が可能になりました。Functionsの構文やFrameという概念、さらにUDFとの絡みなど細かい話に踏み込めればと思っています。(全く違うことを書くかもしれませんが...)さいごにブレインズテクノロジーでは、Sparkの様々なライブラリや機械学習の技術を駆使して、日々大規模データと戦っています。Spark以外にもelasticsearchやfluentdなど、様々なOSSを組み合わせてデータ分析基盤Impulseを構築し、AWS上で展開しています。Impulseについては、使っている技術を中心に今後紹介していきます。machine-lear...Impulseの開発をしている樋口です。今回は表題のセッションに...2018-07-31WindowsのDockerで慣れないこと(実践編)Neuron開発チームの木村です。SageMakerのDeepARアルゴリズムで時系列予測データ分析担当の青木です。Pipelinesを使ってみたImpulse開発チームの塚田です。Lear...2017-08-21dockerコンテナのレイテンシはじめましてブレインズテクノロジーの貴明です。)に関する取組みをご紹介します。Inc.または関連会社の登録商標およびサービス・マークであり、同社の許可に基づいて使用しています。reserved.ガートナーは、ガートナー・リサーチの発行物に掲載された特定のベンダー、製品またはサービスを推奨するものではありません。最高のレーティング又はその他の評価を得たベンダーのみを選択するように助言するものではありません。ガートナー・リサーチの発行物は、ガートナー・リサーチの見解を表したものであり、事実を表現したものではありません。ガートナーは、明示または黙示を問わず、本リサーチの商品性や特定目的への適合性を含め、一切の保証を行うものではありません。はてなブログをはじめよう!brains-techさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。