元データ分析の会社で働いていた人の四方山話スマートフォン用の表示で見る元データ分析の会社で働いていた人の四方山話この広告は、90日以上更新していないブログに表示しています。仕事柄、色んなパターンのデータ分析してる人の環境を見る機会があるのですが、よくあるのは下記のような7つかな、と思います。段々とやりたいことが複雑/高度化する、もしくはデータの規模が大きくなると下の方に進んでいく気がします。WindowsのGUIアプリやWebサービスの管理画面いわゆるエンジニアじゃない方がデータ分析を行う時はまずここからではないでしょうか。Excelなども何気に高機能ですし、Tableauなどでも色々できます。DocsのSpreadSheetはExcel並に色々できてしまいます。Excel上のVBAから始まり、Rを使ったり、それでも足りない部分はPythonを利用したり、という感じでしょうか。そこまで高度な事をしない、もしくはそんなにデータ量が多くないかぎりは、この領域でほとんどカバーできてしまうイメージです。Linux上でのコマンド操作データソースが複数にまたがったり、データの加工処理が必要になってきた場合はWindowsでは段々辛くなってきて、脱Windows化が起きてくる気がします。組み込みのコマンドを駆使したデータ加工を行うイメージです。最近では仮想マシン上で簡単にLinux環境を手に入れられるようになっていますね。Linux上でのプログラミングコマンドだけではできない加工処理や、加工処理からそのまま統計や機械学習の処理を行う場合をイメージしています。手軽なところではAWKなどから、シェルスクリプトへ、そしてPythonなどに向かっていくイメージです。DBとかKVSとかを自前で用意するLinux上でもファイルを読み込んで処理するのが辛くなってくる(メモリに全部載り切らず値の突き合わせができない、時間がかかり過ぎる、等)ので、元のデータソースとは別に、処理の中間着地点として、DBやKVSの利用を検討し始めます。段々とミドルウェアの知識が必要になってきます。Hiveとか、最近だとMPPデータが大きすぎて単体のマシンだといつまで時間がかかるか分からない、そもそも上手く処理できない、みたいなケースが出てくると、Hadoopだー、Sparkだー、という世界になります。HadoopやSpark上でそのままプログラミングするのはツライので、HiveやPigなどの裏側でいい感じにMapReduceを生成してくれるものに頼り始めます。Drill等もでしょうか。要はクエリをどんと投げていい感じにデータを抜き出したり加工したいという要望でしょうか。AWSのRedshiftやGCPのBigQueryもはいってきますね。Hadoop/Sparkなどの環境下でのプログラミングHive等では手がとどかない部分までコントロールしたい、しなければならない、となって直接プログラミングを行います。分散、大規模やで!(意味不明)問題意識:2と3の壁が大きい2と3の壁が非常に大きいと思っています。何となく3になると「黒い画面」になって尻込みする人が多くなって、3以上の人が「こっちに来ましょうよ」と言っても「ちょっと・・・」となってしまう方が一定数いるような気がしています。4と5なども壁としてはありますが、今の仕事で関わる範囲だと、2の人が3になることがデータ分析の業界全体にとってメリットが大きいことかなと思っています。データ分析に携わる人がみんなLinuxなどを扱える必要があるかは微妙なところですが、課題意識としてここを越えやすくする何かが必要だなぁと考えていました。そのタイミングで、縁ががありまして、まさにドンピシャな本の監訳に関わらせていただくことができました。scienceという大反響となったエントリが基になり、ものすごく大幅に加筆されたものとなります。単行本(ソフトカバー)この商品を含むブログを見る本書のポイントとしては、データサイエンスを行うプロセスをOSEMN(awesomeと読むらしいです)と定義して、それぞれのプロセスをコマンドラインで行おう、というものになります。curlなどでAPIからデータを取得して、JSONの結果をjqでパースして...のようにデータの取得、加工にもかなり重きをおいているのがポイントかと思います。VMが配布されており、本書で扱っている作業は全て再現できるのも、WindowsユーザーでLinuxに二の足を踏んでいる方にとってはとっつきやすいのではないかな、と思っています。上述の分析環境で3以上は楽勝です、という方には物足りない内容かもしれませんが、私自身も本書の監訳を通じてこれまで知らなかったけど便利そうなコマンドを知ることができました。あ、そうそう、監訳に参加したメンバーにて、いざ使うにあたって躓きポイントになりそうな日本語に関してや、弊社でよくある分析パターンなどを書きおろしています。発売の前後のタイミングがちょっとバタバタしており、非常にタイミングが悪いのですが、マーケティングに関する企業に勤めているので一度やってみたかったコンテンツマーケティングってやつです。こんなマニアックなブログの記事を見る人なら関連性は多少なりともあるでしょう。みなさん書店で手にとたり、Amazonでポチったりしてみてくださいね。反省点などキャッチーなタイトルをつけられなかった(難しい)記事は30分以内に書くと決めたが45分くらいかかった(記事を書くのはそう簡単ではない)内容が薄っぺら過ぎる(ささっと書くので深掘り感が足りない)うまいこと商品の紹介に繋がらなかった(文章力の問題)この記事に分析っぽい書籍のレコメンドとかしたらどうなるのだろうとか漠然と思ったまあなんでもやってみないと分からないですし、簡単な話はないですね、という。Entriesはてなブログをはじめよう!rindai87さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。