プロジェクトの経験COBOLエンジニアとHadoop技術COBOLの未来への不安COBOLをめぐる独特の進化COBOLとHadoopとの出会いCOBOLエンジニアの新たな可能性まとめ技術の進歩とともに需要が高まるビッグデータとHadoop2011年頃から日本で一気に注目を集め始めた「ビッグデータ」。Hadoop(以下Hadoop)は、ビッグデータを処理するための基盤として広く使われるようになりました。2011年頃から日本で一気に注目を集め始めた「ビッグデータ」。Hadoop(以下Hadoop)は、ビッグデータを処理するための基盤として広く使われるようになりました。米国でもニーズが高まるHadoopエンジニア、こちらの記事によるとカリフォルニアのある企業に務めるHadoopエンジニアは、年収25万ドル(2015年当時の通貨レートで3,000万円)にも及ぶそうです。本記事では、日本におけるHadoopエンジニアの需要や案件の状況、フリーランスでHadoopエンジニアが活躍するためには何が必要なのかについてまとめました。Hadoop技術の活躍の場10年前に登場した時点では、バッチ処理が主な使い道だったHadoopが、現在では「ビッグデータ」の分析基盤として大きなスポットが当たるようになりました。バッチ処理ビッグデータ分析基盤エンタープライズデータハブ業務システムの一部(バックエンド)など、Hadoop活用の幅はこの10年で徐々に広がってきています。フリーHadoopエンジニアのニーズと、案件の傾向ビッグデータのビジネス活用が始まり、開発の現場でもHadoopが使える人材の需要が年々高まってきています。注目したいのはその案件単価。FAworksで扱うHadoop関連の案件においても、単価は70万円〜80万円の案件が半数以上を占めています。大企業から発注があることも多いため、単価が100万円を超えるプロジェクトも珍しくありません。案件の数としては多くはありません。フリーランスとして継続的に稼いでいくためには、Hadoop単体の技術で案件を取るというよりも、Hadoopを大きな武器としつつ、かつ関連性・汎用性の高いPythonやJavaなどのスキルと合わせながら高単価の案件を獲得していくことを目指した方が良さそうです。いま募集中のHadoop案件を見る案件傾向2016年段階では、ビッグデータ関連の案件が主流です。大規模データの加工と変数作成処理のほか、データ分析者とチームになって解析を行うこともあります。大手からの案件が多い大規模データ向けの分析基盤を開発するという性質上、大手Web系企業が常駐先となる案件が珍しくありません。大手企業の研修を社員と一緒に受けることができる場合もあり、スキルアップやキャリアアップに繋がる可能性があります。ビッグデータ処理・解析はアドテク系の企業が必要とすることも多く、アドサーバの構築、プライベートDMPサーバサイド開発などが業務になる可能性も十分あります。マーケティングやインターネット広告界隈に興味がある人は、エンジニア以外の分野の知識を得られるチャンスがあると言えるでしょう。仕事で要求されるスキルがハイレベル特に高単価な案件では、ハイレベルな知見を求められることが多々あります。Hadoopを中心とした各種ミドルウェアのバージョンアップ、バグフィックス、パラメータ調整を始め、Ansibleなどを利用した構成管理能力、データ解析側のPythonなどの技術を必要とすることもあります。Hadoopを用いた実務経験が最低でも数年ないと厳しい案件も多いです。案件の中には「Hadoopやビッグデータに興味があるPython・Java・PHPエンジニア」を募集しているケースもあります。Hadoopを扱えるエンジニアの数が現状少なく、またこれからも需要が高まる分野のため、「Hadoop未経験でも若い意欲的なエンジニアを採用して育てたい」という意識を持っている企業も多く存在します。ビッグデータやHadoopに興味がある若いエンジニアにとってはチャンスかもしれません。プロジェクト規模が大きいプロジェクト規模は大きめで、チーム人数が10人以上になることもあります。要求されるスキルがハイレベルのため、経験豊富なメンバーを集める必要があり、メンバーの年齢は高めになることが多いです。落ち着いた雰囲気のなかで働くことができるでしょう。長期契約も多い少なくとも1年以上のプロジェクトが多く、プロジェクト終了後も継続となる場合がよくあります。安定した収入源を探している人にもおすすめです。Hadoopエンジニアの年収エンジニアの中でもデータベースエンジニアは高収入な傾向にありますが、Hadoopを扱えるエンジニアの年収は更に高い傾向にあります。専門性を必要とし、現時点では需要が供給をはるかに上回っているのが主な理由でしょう。日本国内でHadoopエンジニアの平均年収は、約800万円と言われています。会社員でも年収400万円以下という人はほぼ皆無で、1000万円を越える人も決して珍しくありません。Serverをもしのぐ勢いがあります。冒頭で少し触れましたが、Hadoopは現在海外での需要も高いです。ある程度エンジニアとしてのキャリアを国内で積んだ方は、アメリカなどで挑戦できると更なるキャリアアップ・収入アップが見込めるでしょう。フリーで高単価案件を得るのに、有利に働く経験やスキルもともと単価は高めのHadoopエンジニアですが、プラスアルファのスキルがあればさらに高単価の案件を得ることも夢ではないでしょう。アドテク系の経験アドテク系求人も多いので、ネット広告に関連した経験は有利です。DSP、SSP、DMPなどの広告配信等のプラットホームに関するスキルを活かすこともできます。ミドルウェアの経験Hadoopに限らずデータベース管理システム、トランザクションモニターなどの何らかのミドルウェアの開発に関わったがある人も、経験が有利に働くでしょう。習得しておきたい言語Hadoop上で動くアプリケーションはPython、Java、Ruby、R、C++、Scalaなどで記述されています。いずれかひとつは、習得しておくことが必須ともいえます。Rなどの統計解析言語、データベース言語SQLのスキルを求める企業は多いです。複数の言語を使いこなすことができるのであれば、より高い評価を得ることができるでしょう。ビッグデータ分析の経験Hadoopは何らかのビッグデータにかかわる案件がほとんどです。AWSやその周辺知識である、HiveやMahoutを習得していればさらに良いでしょう。コミュニケーション能力も重視される大規模チームでの仕事も多いため、コミュニケーション能力も重視される傾向です。「コミュニケーション力があれば外国籍でも大歓迎」という企業も多く、門戸は開かれています。国際的なプロジェクトも結構あるため、英語力や海外経験が買われることもあります。技術力と語学力を兼ね備えた人材ならば、かなり高い評価を得られるかもしれません。大企業出身者Hadoopは大企業主体のプロジェクトも少なくありません。日本の大企業には独特の企業文化も多く、そういったものにある程度慣れている人が歓迎されることもあります。大企業を辞めてフリーランスになった人も、その経歴を活かすことができるのではないでしょうか。長期プロジェクトの経験Hadoopプロジェクトはどうしても長期になりがちです。長い年月にわたってほぼ同じメンバーで仕事を進めていくこと自体、長年フリーランスで仕事をしてきたエンジニアの中には苦手としている人もいるかもしれません。メンバーを採用する段階では、過去に長期プロジェクトを問題なく完遂することができたのかという点も重視されます。要するに、円滑な人間関係を長期にわたって築いていける人材が求められているのです。COBOLエンジニアとHadoop技術IT関連の技術は日進月歩です。花形として活躍していた最新技術のエンジニアも、いつしか古びたものになってしまうのは、残酷ですが仕方のないこと。「何度でも蘇る」ことが可能なことを示唆したHadoopの功績はもっと評価されるべきかもしれません。メインフレームで動いていることがあります。今後、COBOLによる大規模開発はないかもしれませんが、システムの仕様変更などの仕事はある程度あると予想されます。仕事がなくなってしまうことはないかもしれませんが、未来に不安を感じているCOBOLエンジニアは少なくないはずです。実際、IT業界から引退する人も多く、COBOLエンジニアは年々減少しています。衰退の一途をたどっているかのようにもみえるCOBOLですが、この50年間つねに各種の最新技術に対応するという独自の進化を遂げてきました。COBOLを使用すればAndroidアプリをCOBOLで作ることも可能です。汎用機で動いていたCOBOLをAndroidタブレットで走らせるというのはたしかにある意味感動的ではありますが、ビジネスにどう結びつけていくかは疑問が残ります。COBOLとHadoopとの出会いつねに話題の技術に対応してきたCOBOLなので、Hadoopに触手を伸ばさないわけがありません。オープン系のPython、Java、Rubyなどはいち早くHadoopに対応してきたのでとくに話題にもなりませんでしたが、HadoopにNetCOBOLが対応し、IT業界が騒然となったニュースを記憶している人も少なくないのではないでしょうか。COBOLエンジニアの新たな可能性COBOLがHadoopに対応したことによって、バッチ処理も高速化し、データ活用がより手軽になりました。ビッグデータ関連のニーズでは、じつはこの「データ活用」が半分以上を占めているともいわれています。今後はHadoop界隈でのCOBOLエンジニアの求人も増加すると考えられます。全体数が減少しつつあるだけに、Hadoopの知識を深めておけば引く手あまたの可能性大です。COBOLエンジニアは平均年齢も高めですが、年齢不問も多いHadoop求人では問題なさそうです。COBOLエンジニアならば官公庁や大企業での経験豊富な人も少なくなさそうですが、むしろそういったキャリアこそ求められているともいえます。Hadoopに関する見識を深めておくことをおすすめします。まとめ「定年が早い」なんてよく言われるITエンジニアですが、経験を積み重ねなければできない仕事もあります。Hadoop界隈は専門知識とスキルを積み上げた一部の人にしか出来ない領域。これまでのキャリア、人脈の集大成となるようなビッグプロジェクトとの出会いもあるかもしれません。逆に、若くて学習意欲が高い方は、将来フリーランスとしての価値を大きく上げるためにも今からチャレンジしておくのが良いかもしれませんね。