ビッグデータプログラミングなどITに興味があります。5教科の成績に評価を付けてみるSparkSqlはSpark上でSQLを利用するためのコンポーネントです。Sparkの分散環境上で大量データに対して高速なSQLを実行できます。SparkSqlでソートする練習のために、5教科の成績に評価を付けるプログラムを書いてみました。今5人(A君~E君)がいるとして、英語の成績が以下であるとします。A君:100点B君:80点C君:60点D君:40点E君:20点その順位に応じた評価点をつけます。上記の場合、A君:5点、B君:4点、C君:3点、D君:2点、E君:1点という感じです。)に対して行い、合計の評価点を計算します。元の点数そのまま使えばいいやんという感じでもありますが、ソートして連番を付ける練習がしたかったので、こんな計算をするようにしています。定義する必要がありました。文を発行しても何のデータも得られませんでした。経由でデータを取得してくる仕様のようです。文の結果に対して連番を付与する場合、SQLではWindow関数のrow_numberという機能がありますが、SparkSqlでもそれが使えるようです。関数もありませんし、これは便利ですね。なしで使おうとすると、以下のエラーメッセージが表示されてしまいました。HiveContext(jsc);ただ、コンテキストの生成処理に体感でも数秒間時間がかかっている気がします。true)日本語の成績。66|+-----+-------+--------+数学の成績。40|+-----+-------+-----------+英語の成績。単なる乱数とは言え、0点が出てしまった。51|+-----+-------+-------+社会の成績。98|+-----+-------+------+最後は、理科の成績。90|+-----+-------+-------+そして、総合成績。綺麗に3の倍数になりました。ままでも出来ることは思っていたより多い。変換処理のオーバーヘッドも減らせるだろうし、使っていくのが楽しみになってきました。»プロフィールid:blueskyareaプログラミングなどIT技術に興味があります。Triplets月別アーカイブはてなブログをはじめよう!blueskyareaさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。