Data最近「ビッグデータ」という単語を頻繁に聞くようになりました。先の記事で紹介されているクラウドコンピューティングとも関連が深い分野です。そこで、ビッグデータについて簡単にまとめてみました。■ビッグデータとはまずビッグデータが従来のデータとは異なる点として、以下の「3つのV」が挙げられます。Volume:容量...その名の通り大容量データであることです。Variety:多様性...従来の定型データだけでなく音声や画像・動画等の非定型データを含みます。Velocity:速さ...データが高いリアルタイム性を持っていることです。現状では従来通りの構造的・定型データで単に容量の大きなものをビッグデータと呼ぶ場合もあり、定義は曖昧なようです。■ビッグデータの処理ビッグデータを使って分析し、有益な情報を得るためには、巨大なデータを処理出来る環境が必要になります。そのために近年用いられている技術は、クラウドコンピューティングの記事でも登場していましたが複数の計算機で処理を実行する分散並列システムです。代表的なものとしてHadoopやMapReduceなどのフレームワークが挙げられます。■可能になることこれまで容量や処理技術の問題から蓄積出来なかったデータを利用したり、多種多様なデータを組み合わせて分析することによって、これまで無価値な情報だったものから有用な分析結果が得られるようになります。実例の一つとして、ユーザの履歴情報を利用した近未来の予測があります。Storageが使われています。■さいごにデータ蓄積にかかるコストは現在下がり続けており、企業は様々な種類のデータを長期にわたって大量に蓄積可能になりました。データとその処理技術が揃っていたとしても、それをどのように分析し、企業活動に利用するかは重要な課題です。どの分析手法を利用して結果をどう解釈するかは、機械化が困難で属人的なスキルであることを意識しておきたいところです。ネイチャーインサイトの際とがリニューアルしました。それに伴い、NIBLOGも引っ越しすることになりました。-今回は統計学(計量経済学)の手法の1つ操作変数法について話したいと思います。その前に、具体例として、賃金関数と呼ばれる理論についてお話します。70年代に発表した研究で、人の収入は、教育年数(≒学歴)である程度決まる、というものです。CASE式を使ってみよう!条件分岐処理は、SASに限らず様々なプログラミング言語で不可欠なものです。Excelだと、こんな感じの現象。SASだと、こんな感じの現象。