commentGoogleには、今さら言うまでもなく、大量のデータがあり、それらを扱うためのツールを数多く作ってきた。HBaseを孵(かえ)した。それで終わりではない。同社はその後もビッグデータを処理するためのツールを作り続け、それらに関する論文やドキュメントを次々と公開してきた。中でもDremelは、GoogleFSとBigTableに保存されている巨大なデータ集合のクェリを高速化する。Hadoop上のMapReduceのバッチジョブで数時間あるいは数日かかる処理も、Dremelではほとんど一瞬で結果が得られる*。ホビー用の万能電動工具。comment近年BigDataやその活用用途に注目が集まっている要因として、収集したデータを蓄積・処理する技術の進歩が果たした役割は大きい。技術が発達した事で、これまでデータが大きすぎて扱えなかったペタバイトクラスのデータが容易に扱えるようになった。Hadoop」について-(2011.06.20)”の回を参照して欲しい。ユーティリティーなのである。エンジニアの要求を満たすために、インハウスで開発されたものである。オープンソース・ソフトウェアの領域に置いた。Cassandraはきわめて高いスケーラビリティを実現できるキー・バリューストア型のNoSQLデータベース。BigTableの双方の技術を活用しており、大規模サイトで活用されている。commentクラウドに欠かせないのがスケーラビリティ、つまり大量の処理への対応です。そのためには、大量のマシンに処理を分散させる「スケールアウト」の方法が使われます。扱うデータの形式も、分散処理にふさわしい「キー・バリュー(key-value)」が主流です。前回で解説した「MapReduce」もkeyとvalue形式でデータを扱いますし、データベースにも「分散キー・バリュー型データストア」(以下単にkey-valueストアと呼ぶ)という技術が採用されるようになりつつあります。Googleの「BigTable」もそうです。PlatformでMapR社のHadoopディストリビューションを共同でサポートすることを発表しました。comment今回はいよいよ、MapReduceを使ってデータ処理を実践してみます。その前にまず、MapReduceの仕組みを大まかに理解しておきましょう。Hadoopの特徴の一つは、「並列処理可能な小さなタスクに分割し、空いたCPUに順次割り当てる」という点です。どんなに台数が多くても、全体の処理を独立した小さなタスクに分割して並行処理することで、CPUなどの資源を効率的に使うことができるというものです。この仕組みを実現しているのが、MapReduceです。]paperboy&co.、コンセプトは『手っ取り早く。