)に関する取組みをご紹介します。Functions(その2)Sparkどうも、ポンセです。前回の続きです(タイトルを微妙に変えていますが)。SparkというよりSQLのWindow関数周りの話になっている気がしますが、気にせず書きます。今回はSQLの形式で書きたいと思います。ROWS前回と同様にグループ単位での平均値を行毎で算出するのですが、windowの行数を指定して集計したいとします。52.5|+-------------------+-------+-----+------------------+例えば3行目を見てみます。100(現在行)、30(1つ後ろの行)の平均値(すなわち50)となっています。構文で行数単位での集計が可能となります。RANGE今度はある値より大きいまたは小さい行でグルーピングして集計したいとします。データデータは上記例とは違い、timestampの間隔をバラバラにしています。40.0|+-------------------+----------+-------+-----+------------------+わかりやすくするために、unixtimeの行を追加しています。BY句で指定しているunixtimeに対して、600秒前から現在行すなわち、30(現在行)、100(1つ前)、20(2つ前)の平均(すなわち50)となっています。構文で特定値より大きいまたは小さい行による集計が可能となります。まとめ・ROWSとRANGEを使って行数指定、値の幅指定を行ってSparkで集計してみました(全然大規模なデータじゃないけど)。周りの関数がかなりサポートされているので、集計周りは相当充実してきた印象です。1.6もリリースされそうなのでそちらにも注目していきたいところですね。今回の例で使ったpythonのコードを載せておきます。Windows上で使用する準備とファイル読み出しテストの...こんにちは、ブレインズテクノロジーの岩城です。2018年11月末...2018-06-11PythonでのARIMAモデルを使った時系列データの予測の基礎[後編]こんにちは。ブレインズテクノロジーの岩城です。こちらの記事...2018-02-27Dockerコンテナで起動するElasticsearchの性能情報を取得した話ブレインズテクノロジーの加藤です。今回は、Dockerコンテナ上...2017-08-21dockerコンテナのレイテンシはじめましてブレインズテクノロジーの貴明です。SQLでサーバのログデータを整形・可視化するこんにちは。)に関する取組みをご紹介します。Inc.または関連会社の登録商標およびサービス・マークであり、同社の許可に基づいて使用しています。reserved.ガートナーは、ガートナー・リサーチの発行物に掲載された特定のベンダー、製品またはサービスを推奨するものではありません。最高のレーティング又はその他の評価を得たベンダーのみを選択するように助言するものではありません。ガートナー・リサーチの発行物は、ガートナー・リサーチの見解を表したものであり、事実を表現したものではありません。ガートナーは、明示または黙示を問わず、本リサーチの商品性や特定目的への適合性を含め、一切の保証を行うものではありません。はてなブログをはじめよう!brains-techさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。