データの欠損を補完したり、分析問題に適したデータセットを作ったり。誰かやってくれよと思います。1や4は、2,3と比べて比較的簡単です。簡単と言ったら語弊があるかもしれませんが、データを取得して、加工・集計して、グラフにする技術があれば出来る仕事です。1度出来るようになれば、精神を宇宙に飛ばしていてもできます。簡単な集計といえど、各部署が欲しい表・グラフをすべて作るとなると、とても時間がかかる作業です。テーブル構造によっては、複数キーでの処理や、複数のテーブルをまたいだ処理も多く発生します。そんな処理をサブクエリごりごり書いたり、××言語で1行ずつ条件分岐しながらどうのこうのしていたら、分析する時間なんていつまでたってもとれません。単純な集計なんてさっさと終わらせて、楽しい分析に時間を割きたいですよね。そんなあなたに!今回は良いツールをご紹介します。nysolが開発した、前処理・集計に特化したツール、その名もMCMD(mコマンド)です。以下のサイトから無料でダウンロードできます。処理速度がめちゃくちゃ速い普通のMacBookで数億行のデータも軽く扱えます。Rやpythonなどのプログラミング言語で集計していた方からすると衝撃かと思います。信じられない方もいらっしゃるかと思いますので、以下の条件で簡単な速度実験を行ってみました。抗議が恐かった(面倒だった)ため避けました。気になる方は各自お手元のPCで比較実験してみてください。その際、記述の容易さ、可読性にも着目しましょう。58.356いかがでしょうか。このスペックで1億行だと1分近くかかってしまいますね。それでも1000万行のデータで5秒以内!めちゃくちゃ速くて、めちゃくちゃ記述が楽じゃないですか?まだまだ良いところはあります。ように、複数の処理を続けて行うことができます。思考が止まらず、パズル感覚で楽しいです。いちいちファイルに吐かなくても良いです。ように、シェルコマンドと合わせて処理可能です。trやsed,headなどはよく利用します。基礎的な加工・集計の99%はmコマンドとシェルでできる私はこのツールをもう6年くらい使っていますが、アクセスログや売上げデータの集計・加工レベルで困ったことはほとんどありません。テキストデータなど、扱うデータによっては他のツールが必要ですが。リファレンスが丁寧nysolホームページのリファレンスを見ていただくとわかると思いますが、とても丁寧に、事例付きで説明してくれています。--helpのように、--helpと打つと、同様のリファレンスが標準出力されるので、いちいちwebを開く手間もかかりません。自由とはときに残酷なものです。分析者はコードに自由や個性など必要ないのです。分析内容で存分に個性を発揮してください。最後に今回は、データ分析の前処理や集計業務にかける時間を短くするために、素晴らしい集計ツールを簡単にご紹介しました。慣れないうちはリファレンス見たり、正しく動かなかったりで、一時的にアウトプットの量が減るかもしれません。1ヶ月もしたら大抵の処理はすらすら書けて、集計スピードにおいて社内であなたの右に出るものはいなくなるでしょう。これであなたも立派な集計屋さんです!やりましたね!やりたくない集計の依頼がどんどん舞い込みますよ!先回りして、大量の依頼の前で死なないように予防線を張りましょう。dayとして、業務と直...2015-12-18サーバの監視システムを設計したときに考えたこと弊社では少し前にサーバをAWSに移行しました。WebDriverで、新規会員登録フローのE2Eブラウザテストを自動化してみた。エンジニアの@bumcruです。Qiitaの「Selenium/Appium...2015-11-06【開発合宿幹事向け】合宿企画の下準備工程を全て公開します。【合宿準備編】どうもこんにちは。エンジニアのvsannaです。データアナリストのn_maoです。はてなブログPro『外資就活ドットコム』の開発チームです。技術ネタ・プログラミングネタ等々書いていきます。業務未経験からエンジニアになって半年を振り返るDocker初心者がRails+MySQLの環境構築をDockerでやってみた月別アーカイブ検索はてなブログをはじめよう!howtvさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。