正月ないから今のうちに。前回の「ビジネスやってる分析屋なのでブログからこれくらいわかりましたよという1実例」の続きでしたが、書くと無駄に長くなりすぎる癖がありまして。そろそネタバレ気味に逝きます。このブログのモチベーションは、データサイエンティストネタ以前に、データ蒐集と社会の可視化が目的でした。重いモノを動かすには体力ですが、軽いモノを動かしてみるには知力が必要です。好奇心と探究心の一環なわけなので暖かい目でお許しください。わかっている方もいると思いますけども、私の微妙に一貫性のないコンテンツや時勢を無視した唐突な感じは、そうした蒐集と検証目的に沿って8割方、事前に計画してきたものなわけです。いっても計画8割、実行5割で、進捗率4割という、まるで計画通りじゃないのがダメな感じで今後の反省材料です。いくつかのソーシャルメディアでの無軌道ぶりも、私というより軽めのボットを作って観測した仕業です。分析屋がどこに潜んでいるのか社会ネットワーク関連技術と経済効果データ分析要員の待遇改善効果などです。私のブログは微妙ですけど、その周辺調査などからも、このあたりはよくわかったので目的達成はしたところです。そこで今回は潜在マーケット需要(ビッグデータ業界や、データ分析人材需要)の亜種として、データ基盤系スキルの使い手人数と大事な待遇=年収帯の推定を行った結果を共有したいと思います。ビッグデータと騒いでいても、実際のエンジニアにとって今後、年収高くなりそうなスキルとはなにか!と米国の需要ベースで推定してみました。調査や導出方法などはかつての記事を参考ください。前回と違うのは、ブログなどによるフィードバックデータを加味したことです。前回より、特定の人間の所属する会社の年収帯を推定するのは容易ですし、そのデータ蒐集と学習により、推定精度を少しは向上させています。選挙予想と似たようなもんですかね。そっちより簡単ですけど世にない感じなったのはいい具合かなと。年収帯の分布を出すことで、ざっくりとスキル熟練度の分布も想像できますが、一人が複数の領域にまたがることは当然ありえます。482なんだかんだで商用的には2大巨頭のOracle、SQLserverの需要があるので人数も多めです。MongoDBやNoSQLみたいな新技術っぽいのは使い手の人数が少なく短期需要的には高めになりがちです。このへんは流行らない技術認定されると、急速に消えるので、ヘッジとして普通にRDBもやっておく必要があるでしょうね。それはMySQL、PostgreSQLどれもそんなに大差ありません。173ビッグデータの申し子な感じのスキルであるHadoopスキル使いは年収高めの傾向ありです。今後もビッグデータブームを経て使い手も増えてくるでしょう。マニアックにmahoutなんか探ってみましたがほとんど使い手いないようです。HiveはDWHの一種ですがHadoop派生なんでHadoopの内数と見てよいでしょう。139分析ソフトウェアの使い手たちですが人数はそこそこ。RやSASは?というのは大人の事情で割愛いたします。この手は類義語も多くてデータ的に蒐集と推定が難しくて。年収低めは学術関係者も使うのでその補正かもしれません。使いこなすと便利なんですがこれもまたブームにより消えがちなスキルなのでMSOFFICE系を使いこなせる必要もあるでしょうね。0MS系だけ区別しました。使われる分析ソフトウェア?ことEXCELはやはり使い手数は最大です。年収はポピュラーすぎて差別化難しいので低めになってしまいます。Accessも同様です。能力の差別化要素にはなりづらくても英語より重要な汎用スキルなのでやらざるをえませんけどもね。11AmazonEC2やAzureのスキル(に特化した)使い手はまだまだ少ないようです。他のエンジニアスキルが応用が効くので特化する必要はないかもしれません。登場した時期からしてエンジニア自体の年齢が低めと予想できることから年収は低めに見えます。68iOSとAndroidのエンジニア延べ数も調べてみました。developerと付くのは内数で専用の開発者達です。これはこれで独特の開発スタイルと言語なので平均的には若いはずですが、ソーシャルゲームが下火になっても年収の高さから今後ますます需要はありそうです。細かいことは言えばきりないですので、データと数値で感じて、参考にいただければと思います。NoSQLとなりました。もろに昨今の流行を反映していますね。いっても人数少ないスキルは水物ですので、ヘッジの意味では、しっかりとポピュラーなRDBMSやEXCELなんかをきっちりやっておく必要があるでしょう。MongDBってNoSQLの内数ですね。ご指摘ありがとうございました。年末ですから、余計なお世話な感じですが、あなたのいる場所と存在の希少確率なんかを振り返ってみたりと、お役に立てれば幸いです。ありがとうございました。次は組織編の予定です。ビジネスやってる分析屋なのでブログからこれくらいわかりましたよという1実例http://negative.hateblo.jp/entry/2013/12/17/180022年末進行その1。ビジネスやっているとなかなか書きたいことが書けないけどなんとか。(ビッグデータ人材の推定その2)http://negative.hateblo.jp/entry/2013/08/20/154139日本のビッグデータ関連の技術者数を推定してみるhttp://negative.hateblo.jp/entry/2013/08/15/154627当時よりもデータ蒐集できてレベルアップして、見えないところも見えるようになりました。書きたいところだけれど、そうすると本業にしている領域がどんどん近づいてくるのが悩ましいです。実務者向け師走ですから軽く総括気味に。ブログやってみてわかったことをまとめておきます。話せる範囲ということでご勘弁ください。データサイエンティスト界隈といってもほとんどソーシャルゲームとネット広告あたりの人っぽい私の記事に反応してくれた人の傾向を常に調べています。いうと気持ち悪くてごめんなさいね。別に何もしていませんけれど、職業などが分かる場合は、どういう人かくらいは見させてもらっています。いっても人力ではありません。私のソーシャルでの動きは無軌道のように見えてごめんなさいね。ボット作ってデータ集めています。データサイエンティスト釣り堀として見ても、だいぶ業種が固定化されていますね。特定の連中だけが熱くて周囲は冷えている日本の業界事情に近しい感じです。サイエンティストとか普遍的な称号いらなくて、言い方微妙だけどソーシャルゲームハッカーとか言ってたほうが差別化できるんじゃないの。そこを差別化できない方向であわせる必要ないと思うんですけども。それなりに読まれる記事は配信される記事全体の3%程度。これは私のブログに限らず、はてなやアメーバなど各種のブログ、各人の立ち上げるネットメディア全体で、です。paper.liやgunosyなどの業者の傾向を見てもそうであるように、その日に世に出たコンテンツ蒐集には限界があります。彼らはブックマークや、ツイート、いいね、特定のコンテンツ、などから辿っているだけであり、まったく網羅できていません。その結果、バズるかバズらないかの二極化が発生します。運の要素を排除するにはやはり人的ネットワークなんですけど、一般人にはなかなか使えないワザでもあり。今回の統計的には、読まれる記事は3%くらいです。なんとも悲しいですね。自分のことはさておいて、良質かどうよりも、タイミングやタイトルというだけでバズるかどうか決まるなんて実社会と同じですね。これはソーシャルから辿れる1000メディア強(含個人ブログ)、万単位記事を適当に巡回してだいたいわかったことです。1年かけてぼんやりやったので迷惑かけてなさそうということでお許しください。コンテンツの97%は何の話題にもならずに死蔵されるコンテンツです。0ツイート0いいね0ブクマがほとんどです。各ソーシャルメディアの指標はもはやデフレに突入している1ブックマーク、1いいね、1ツイート、いずれの価値も下落しています。調査の仕方は簡単です。ある程度のボリュームで年代別記事で総合計とって比較すれば良いだけです。なんのことはなくて、2011年度より2012年度が、2012年度より2013年度が、1ブックマーク、1いいね、1ツイート、を獲得しづらくなっているということです。相対的に価値が下落していると言ってよいでしょう。はてブでは、かつては1000overがザラでしたが、今ではあまり出現しません。ユーザーの減少と固定化が大きいと思います。このへんはもっと丁寧に言いたいテーマですが、私は提言までにしておきますのでどなたかぜひ。ネガティブワードは長期的な効果ありあいかわらず不平等すぎまして、キーワードによる補正ロジックが入っているようです。私のようにネガティブなんて言葉をタイトルに冠しているとペナルティで下がりまくります。年収」なんかでは高いです。ようするに、これでどういう方にリーチできそうかだいたい予想できますね。統計的有意レベルで観測できていますが、このへんは別の成果物なので割愛します。ようするにポジティブワードだともはや検索順位が上がりづらいやりつくされた感ある世界ですが、ネガティブワードだと比較的簡単に上がるので長期的なアクセスが見込めます。ネガティブワードの持つラベリングに、当然ながらサイトの訪問者も引きづられているという制約があります。ニッチ戦略は王道ではありません。ネガティブだと陽のあたる道には出にくいです。記事のアクセス増要因は、特定の誰が反応してくれるかが、ほぼすべて私は制作ではないのでコンテンツ論しませんが、質や量や独自性やメッセージ性といったコンテンツの中身を語る以前に、ヒットするかどうかでもっと重要なことがあります。それが「誰に届くかどうかが圧倒的に重要」だということです。ある結論かもしれません。今や、これがほぼすべてであり、アクセス数の増減に対する最大の寄与率を誇っています。マスメディアの間違いにイチャモンをつけると、彼らは大変敏感なので動いてくれやすいとか、Twitterならばインフルエンサーとしてある人がリツイートすると確変してアクセス数が増えるとかです。界隈の有識者、例えば、このブログにとってならid:tjoさん(銀座で働くデータサイエンティストのブログ)です。同じような世界を見ていないと同じような問題意識にはなりません。ない多くのマジョリティと感覚がズレていたとしても、そういうことはあまり重要にならないです。したマイノリティがどう思ってくれるかどうかが重要というのが、やはりマスメディアとネットメディアの全然違うところですね。(一般的に)社会的立場の高めな人は情報共有しにくいまたソーシャル的には、社会的立場が高い人(必然的にマイノリティ)に向けて記事を書いても、それはまったくヒットしません。「おまえはどこの馬の骨だ」補正もありますけども。いえば、立場表明したくないからです。社会的立場の高い人は前向きな発言しかできないバイアスがあります。経営者が「ブラック企業はけしからん」というテーマの記事に「いいね」できるわけがありません。ブラック企業の経営者ではなくても明日は我が身的がありえるので、心理的にできません。これが実名の特徴です。このように「言いたいけれど言えない世界」というのは需要が見込めるので新しいフロンティアでしょうね。事実、私のように分析に対して皮肉の多い立場は、前向きに業界をアジテートしたい方々からは賛同されるわけがありません。それなりに需要はあるようです。役職がらみの誰得みたいな話や、データサイエンティスト名乗りたくない系の話は根強くアクセスがありますが、あまりソーシャルではバズりません。この発見は私にとっては一番の収穫でした。以上、簡単に抽出したものを語りまして、世知辛さが伝わったかと思います。私がここで言いたいのは分析屋なら、ブログを分析に使わないなんて、もったいなさすぎじゃないのということです。自分のだけじゃなくて他人のでもいいくらいで。データなんてものは、もちろん完全ではないですけど、ビジネスやってる分析屋ならば、マーケッターが主観で語るところを、少しは客観的に言うためのデータは採っておこうよということです。HDD1つに収まる程度のデータ量でした。近年は、いつも手に入らないデータを、指くわえて見ている分析者を多くみかけます。スキルあるのにもったいないことです。そんなこと言ってないで、だったら自分でデータ蒐集しようぜ的な意思を持ったほうが良いです。ビジネスに限るならば、与えてくれるまで待っているスタンスには良いことありません。分析の参考書なんて読むくらいなら、まずは実戦してみようよ、と。アカギ)という暴論を吐いて勝手にハードル上げて、私も自滅しつつありますけども、それもいいでしょう。ほんと蒐集1年は短いようで長かったです。いつも文句ばっかりいってきてごめんなさいね。2014予想http://negative.hateblo.jp/entry/2013/12/18/180537データ編です。それなりに手間かけてます。ゼロから分析力を磨きたい人に観てほしいマニアック映画5つ(洋画編)http://negative.hateblo.jp/entry/2013/09/11/153406お隣さんがウィルコクソンの順位和検定とマンホイットニーの順位和検定の違いについて熱く議論していたので、横からWilcoxon-Mann-Whitney検定は?と聞いたら、あっちへいけと言われました。なんとも過酷な職場です。世知辛い職場事情さておき、そこで今回は、こんな過酷な場所は嫌だという感じのソリッドシチュエーションな映画を紹介します。映画ネタは別でやっとけよという話なんですけども、一応、このブログでそれをやる目的もあるのです。前回は、まとめ系ネットワークの勧誘だったり、無料で寄稿をお願いされたりと。それはもう通過した道なんで、その節は、やる気がなくてごめんなさいね。私は店長がおごってくれる程度で十分です。アフィリエイトとか広告とかどうでもいいです。いうほど達観しているわけではもちろんないので、本ブログに限ります。分析が大好きなんて言う若気ないたりな方でも、もう10年以上も常態化したら、誰でもイヤになります。短期では「好きを仕事にする」のはやぶさかではありませんけど、長期では、好きごときの力だけでは仕事を続けることはできません。