同じ25日目に、Pythonで学ぶ統計学&おうちで作るデータ分析環境という記事を書きました。記事の中では転職ドラフトの第15回ドラフト参加ユーザーランキングより、提示年収最高額のデータを取得して簡単なデータ分析を行いました。本記事では、第22回ドラフト参加ユーザーランキングのデータを使用し、エンジニア市場についてデータ分析を行った結果についてまとめています。年の瀬を感じる今日この頃ですが、2020年に向けてエンジニア市場の今を見て見ましょう。スクレイピング去年書いたコードは最高額しか取得していなかったため、ユーザーランキングのデータから全てのデータをスクレイピングして取得する様に修正しました。以下のプログラムを実行し、データ分析に必要なデータを取得(※)します。本記事の環境はラズパイで動かしています。(※)スクレイピングする際は対象サービスの利用規約を確認し、サービス側への負荷を配慮しましょう。Notebookから読み込みます。pandasで引数を設定しない場合は、1行目がheaderとして認識されます。取得したデータはheaderが存在しません。header=Noneを指定すれば、自動的に数字でheaderを付けてくれますが、分かりやすいようにheaderを指定します。"累計平均"))データフレームの先頭部分を確認し、読み込まれたことを確認します。df.head()スクレイピングしたデータはdictで保存しているため、キーの並びがずれています。見づらいのでWebサイトと同じ並びにするために、キーの並び変えを行います。"野望"]]並び変えが行われて見やすくなりました。統計学の基本的な考え方は以下になります。すべての統計的現象は、確率分布をする。全ての統計的現象は、母集団を観察する代わりに標本を観察して、それをもとに母集団の特性を推測して分析する。第22回ドラフトは、486人参加。その内、320人が指名され、166人が指名なしです。去年の記事にも書きましたが、「指名なし」を含むか含まないかで大分平均値が変わってきます。入札結果に記載されている平均提示年収は、「指名なし」を除く人で算出していると思われため、今回も「指名なし」を除いたデータを基に分析していきます。統計量を求めるため、データフレームから数値以外のカラムを削除します。axis=1)数値のみであることを確認します。df_nominated.head()次にデータ型を確認します。最高額と累計平均がobjectであるのが確認できます。データ型を確認df_nominated.dtypesこのままでは統計量が確認できないため、int型に変更します。指名数のデータ型と合わせてint64型に変更します。"累計平均"].astype(np.int64)データ型がint64にそろったので統計量を確認します。最高額の平均は670万円、標準偏差は120万円です。550万円から790万円で市場が動いています。統計量を表示df_nominated.describe()次に相関係数を確認してみましょう。見ての通りですが最高額と累計平均は強い正の相関があります。相関係数を表示df_nominated.corr()カラムごとのデータの関係を散布図行列で確認します。グラフの大きさはfigsizeで変更できます。figsize=(8,6))ヒストグラムヒストグラムで最高額について、大小を比較してみます。データフレームから最高額を抽出します。amount_list.append(a)600万円台が多いのがわかります。people')plt.show()ヒストグラム(複数)各年代ごとに分けてヒストグラムで確認します。データフレームからデータを用意します。s60_list.append(amount)ヒストグラムで表示します。people')ax.legend()plt.show()元々の標本数も少ないですが、50代、60代は指名がありません、想定の範囲ですが市場を多くしめるのは20代と30代ということが分かります。箱ひげ図を確認します。はずれ値をみつけたいときに箱ひげ図は最適です。amount')plt.show()1000万円クラスははずれ値として検出されているのが分かります。興味深いのは30代の年収のでしょうか。各年代で範囲の差が一番大きいです。30代で年収の差が開いてくるというのがデータが物語っています。40代の最低ラインも600万円というのが分かります。wordcloudスクレイピングしたデータの中の野望を抽出し、ワードクラウドで表示させ可視化します。ワードクラウドを使用するために、以下のコマンドを実行して環境を構築(※)します。本記事では、日本語フォントにfonts-takao-minchoを使用しています。fonts-takao-minchoデータフレームから野望を抽出してリストに追加します。word_list.append(w)リストの要素をwordオブジェクトにまとめます。ワードクラウドを作成します。このとき、日本語表示させる場合は、フォントのパスを指定します。font_path='/usr/share/fonts/truetype/fonts-japanese-mincho.ttf')wordcloud.generate(word)wordcloud.to_file('wordcloud.png')作成したワードクラウドを表示します。ImageImage("./wordcloud.png")エンジニア市場をデータ分析して見えたものそれは、知識を習得しエンジニアになるといういつの時代も変わらない本質的かつ普遍的なものでした。データをランキングにして、どの様な企業が人気があるのか調査します。同じ手順でデータフレームを用意します。以下は、指名を降順でソートして上位10まで表示します。指名数が多い順なので、採用活動に力を入れている企業ということが分かります。ascending=False).head(10)(※)シンシ度がNaNにになっているのは、データの属性がhidden-xs.hidden-smであるため、本プログラムが何らかのデバイスと認識され表示され取得できなかったためです。以下は、ラブコールを降順でソートして上位10まで表示します。ラブコールが多い順なので、人気がある企業ということが分かります。ascending=False).head(10)過去入札結果(参加人数/参加社数/総指名数)過去入札結果について調査します。スクレイピングしたデータは第22回のデータが先頭にきているため、インデックスの降順にソートします。ついて、時系列で確認します。nominations')ax.legend(loc='best')plt.xlabel('time')plt.ylabel('number')plt.show()参加人数はおおむね横ばいで推移し、参加社数は少しずつ上昇しています。総指名数については、去年と同じ時期に開催された第15回との変化率(※)で計算すると-36%下降しています。100過去入札結果(平均提示年収/中央提示年収)過去入札結果の平均提示年収と中央提示年収について、時系列で確認します。money')plt.show()第3回から第19回までの平均提示年収及び中央提示年収は上昇傾向でしたが、第20回から今年最後に行われた第22回にかけて、下降気味になっているのが見受けられます。前提として参加企業を見るかぎり、SIer系は存在しない。ほとんどが事業会社で内訳的には、大企業、Web系のメガベンチャー、スタートアップに大別できる。ほとんどの企業の本拠地は東京を中心とした企業が多い。よって、標本データから推測できるのは、事業会社のエンジニア市場価値と考える。以上、前提を踏まえた上で調査結果に対する要約である。事業会社を目指す関東のエンジニアは、600万クラスのエンジニアが多い。年代的には20代と30代が活発。20代が特に多く、30代が一番範囲の差が大きい。40代は最低ラインが600万円。50代と60代については標本自体が少ない。採用が活発な企業は採用に力を入れていると思われるが、人の流動性も高い考える。(勤続年数が短く離職率が高い)人気がある企業はしっかりとしたプロダクトを持ち、世の中に価値を提供している企業が多い。平均提示年収及び中央提示年収は、ここ数年では上昇傾向と思われる。参考IT人材白書2019で示す2018年度調査結果に基づく、国内IT人材の総数の合計は1,226,000となっている。利用側)288,000である。労働力調査年報」を見ると、男性の正規の職員・従業員は2018年平均で500~699万円が22.8%(前年に比べ0.1ポイントの上昇)と最も高く、次いで300~399万円が19.8%(前年と同率)なっている。男女計の場合は300~399万円が最も高い。統計が閲覧できる政府統計ポータルサイトのe-Statより、システム・エンジニアとプログラマーの賃金に関する統計情報について以下に示す。おわりに転職ドラフトで観測されるデータは、国内IT人材の総数の合計約120万人の内のほんの一部ということが分かります。IT人材という言葉は広義で使われるため、システムエンジニアやプログラマーをはじめ、コンサルなども含まれています。ほとんどは情報通信業の情報サービス業や、インターネット付随サービス業に大別できますが、自動車製造などの自動車に搭載される組み込みを行うエンジニアは自動車製造業に分類されるため、業界全体での実態を推定するのは難しいことが分かりました。総務省の労働力調査年報を見ると、男性の正規の職員・従業員の内、500〜699の階級が多いことや、e-statの賃金に関係する統計データを踏まえて、転職ドラフトで観測される600万円の市場価値は業界全体で見たら月並みかもしれません。自分のスキル(得意なこと)が社会や会社の求めるものと一致したときに、お金はあとからついてくると思います。エッジを効かせていきましょう。requestStockLike4@BrutusDevOpsとAIの二刀流を目指す凡人。Cloud、Terraform、Ansible等について発信しています。登壇、執筆等あれば、Twitterよりメッセージお願いします。Puulsでも受け付けてます。https://puuls.jp/p/1iz5MPU1tgkhttps://brutus.ml/Follow株式会社GAUSS株式会社GAUSSは、AIソフトウェアを組み込んだサーバの提供、AIサービス構築のコンサルティング、AIのエンジニア育成をセットにしてサービス提供を展開するスタートアップ企業です。upLoginユーザーは見つかりませんでした。