技術系のことやら、日常のことやらこの広告は、90日以上更新していないブログに表示しています。あることには関係ないのですが、今年1年のまとめも兼ねて、今年印象に残った技術について書こうと思います。Input今年は社会人2年目、1年目のように時間に融通がきかなくなってくるころですが、それでもいくつか、ちょこちょことカンファレンス・勉強会に出没してました。2014なんかに行きました。2くらいで行ってたかなというくらいです。いうカラム型データストアを外部の人が使えるようにしたもので、アドホック/インタラクティブなクエリを扱うのに適しています。読んでみましたが、インデックスなしで350億のレコードを数十秒で総スキャンできるそうです。p4-5)短い時間の間に効率的にクエリを数千以上のサーバにディスパッチし、結果を収集することができるように木構造で通信を行う(記事中の図がわかりやすい)ということです。インデックスは基本的に作りません。そもそもターゲットが違うようです。持つ巨大なインフラを用いた解析が誰でもできるように、ということで第三者へのサービスを展開しています。これをインフラ含めて(しかも格安で)第三者向けに提供できるところまで来てるということに驚きました。所有する豊富なインフラがあってこそこんな速さが出せるもので、技術的にはそこまであっと驚くアイデアによるものではないかもしれません。私は大学・大学院で並列データ処理の研究をしていましたが、研究では多めに見ても30台くらいのサーバで並列化・実行時間を短縮といった実験をしてたので(それでもコア数としてはそこそこありますが)、そのスケールにはさすが、という思いでした。数千のサーバをフルに活かして並列度を出しているようで、他ではそんな並列度を生かしきれるような環境はなかなかない...分かっていてもできない、というのが実際のところ大学含めた研究機関でも多いと思います。日々の仕事のやり方を変えるようなソリューションとなり得るんじゃないかと思います。置いて解析しましょう、ということには今の状況ではならないかもしれません。次のソリューションに移行しているのかも?と思うと、技術者としてはなんとも悔しいところではありますが。来年の抱負とかもう気づけば2014年も終わりですね...今年はプライベートで色々忙しかったのでなかなかでしたが、来年はもっとエンジニアリングにも時間を使っていきたいです。今年も皆様お疲れ様でした。来年も頑張りましょう。月別アーカイブはてなブログをはじめよう!nukamuさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。