Streetとあるフリープログラマの頭ん中。ファーストシーズン最終回。その1その2その3その4最終回として、今回もろもろ利用したScala的な何かについてつらつらと書きます。hbase-twitter-0.0.2を利用します。https://github.com/ueshin/hbase-twitter/tree/hbase-twitter-0.0.2でブラウズできます。Streamシリーズもおおづめ。その1その2その3作ったものについて、は今回で終りになります。hbase-twitter-0.0.2を利用します。https://github.com/ueshin/hbase-twitter/tree/hbase-twitter-0.0.2でブラウズできます。Streamシリーズやってます。その1その2前2回で、NoSQL会@博多編を終わりまして、今回はその後に何をしたのか、をまとめていきます。hbase-twitter-0.0.2を利用します。https://github.com/ueshin/hbase-twitter/tree/hbase-twitter-0.0.2でブラウズできます。Trackbacks昨日の続き。NoSQL会@博多でお見せしたかったMapReduceによる集計が3つほどありました。昨日からデータが溜まってきていることでしょうから、ぜひ集計を実行してみてください。hbase-twitter-0.0.1で利用できます。https://github.com/ueshin/hbase-twitter/tree/hbase-twitter-0.0.1でブラウズできます。APIを使ってツイートを収集し、様々な解析をする(したい)ためのプログラムを開発しています。元々は7月にNoSQL会@博多でHBaseについて発表した際のサンプルだったのですが、そのまま引き続き開発を続けています。Stream」に決めました。2.8.0を利用していますが、HBaseは0.20.6でも動作すると思います。hbase-twitter-0.0.1で利用できます。https://github.com/ueshin/hbase-twitter/tree/hbase-twitter-0.0.1でブラウズできます。Comments先日セットアップした擬似分散モードの動作確認を行います。テストに使うサンプルはいつものやつと、そのScala版、Pig版です。2.8.0.Beta1を利用します。それぞれインストールが完了していて、Hadoopは擬似分散モードの準備が出来ているものとします。TrackbacksMacOSXにHadoopを擬似分散モードで動作できるようにインストールした時の記録です。利用した環境は次の通りです。0.20.2また、参考にしたページは次のページです。XこのページにはHBaseのインストールまで記載されていますが、まだそこまでやっていないので、機会があればということで。TrackbackPigという、Hadoopをお手軽に使いましょうツールを使ってみました。よるユーザー定義関数(UDF)の記述、組み込みをしてみました。題材はいつもと同じです。2.8.0.Beta1を利用しています。pig-scala-aggregate-0.6.1で利用できます。いう言語を使って、MapReduceを実装してみました。題材は前回のものと同じです。2.8.0.Beta1を利用しています。hadoop-scala-aggregate-0.20.1で利用できます。Trackbacks1年以上のご無沙汰でした。これだけ期間が開くとHadoopのバージョンも0.20.2が最新となっています。(2010/04/22現在)そこで、以前実装したhadoop-aggregate-0.0.2を元に、hadoop-core-0.20.2の最新APIに更新してみようと思います。hadoop-aggregate-0.20.1で利用できます。BackgroundsAdSenseこのブログはクリエイティブ・コモンズでライセンスされています。Typeこのブログはクリエイティブ・コモンズでライセンスされています。