分あけましておめでとうございます。1年は早いものですね。本当にあっという間に過ぎ去ってしまうものです。いざ1年を振り返ってみると,いろんなことが起きていたのだと実感したりもします。Data)活用」が2015年にどう変化していきそうか,Hadoopの話題を中心に紹介したいと思います。2014年を振り返るまずは,昨年を振り返ってみましょう。急浮上したバズワードという印象の「ビッグデータ活用」も,すこし落ち着いてきました。浮ついた話を耳にしましたが,一方で,具体的な事例や技術の話も増えてきた1年でした。システム基盤の観点では「Hadoop」の変貌が始まりました。皆さんご存じのとおり,Hadoopは並列分散処理を実現するオープンソースソフトウェアです。技術的側面での変貌は2015年に本格化すると思いますが,その下準備が着実に行われていました。詳細は後ほど紹介します。ビジネス面では,Hadoop専業ベンダClouderaとIntelとの提携,HortonworksのIPOなどに注目が集まりました。Spark」のバージョンが1.0がリリースされ,期待をぐっと集めました。2014」では参加者が激増していて驚きました。クラウドサービスでは,AWSやGoogleがビッグデータ処理向けサービスの拡充を推し進めてきました。RedShiftやBigQueryに関する事例なども聞こえてくるようになったのも変化でした。従来のBI,BAやデータアナリティクスなどに取り組んできたベンダがHadoopなどの並列分散処理に大きく近寄ってきた1年でもありました。SASをはじめとして大手ツールベンダなどもHadoopに対応し,従来の領域は維持しつつも,ビッグデータ領域に確実に手を伸ばし始めています。Edisonの提供に代表されるようにデータ収集や活用に使えるデバイスの幅が広がりました。振り返ってみると,さまざまな変化があった1年でした。それでは,今年2015年はどのような1年になるのでしょうか。Hadoopを中心に見ていきたいと思います。Tezの浸透へ─ビッグデータ処理を支える「MapReduce」が次のフェーズを迎えようとしています。MapReduceは,Googleの検索エンジンを支える技術として注目され,Hadoopで実現されるようになったアルゴリズム/フレームワークです。Map関数とReduce関数という2つの処理を指定すれば,フレームワーク側で自動的に(いろいろと面倒の多い)並列分散処理が行われるもので,かなり強力な仕組みです。Hadoopをすでに使いこなしているユーザは,MapReduceでは十分なカバーできない処理領域に直面しており,その解決方法を探っていました。現在のMapReduceフレームワークは終息して,新しいフレームワークに代替される流れが現実的になってきました。DAG(非循環有向グラフ)型の処理系で,MapReduceよりもより柔軟なデータ処理パターンを実現できます。MapReduceではMapとReduceの2つが直列に実行されるスタイルでしたが,Tezでは,MapやReduce以外の処理パターンもグラフ状に自由に組み合わせて実行できます。これにより,MapReduceユーザの課題を解決できます。Tezの普及を急速に進めそうな特徴のひとつに,従来のMapReduceアプリケーションも実行できる点が挙げられます。従来のMapReduceフレームワークをそのまま置き換える形で導入できるのです。Tezは,すでにHadoopディストリビューションなどにも取り込まれてきており,2015年中に着実に普及していくでしょう。従来のMapReduceやHiveなどを活用しているつもりでも,(⁠Hadoopのバージョンアップなどのうちに)いつの間にかTezに乗り換えていて,性能などでその恩恵に与るというユーザも少なくないでしょう。Tezを意識して,これまでのMapReduceとは違うタイプの処理を実現するユーザも登場してくるに違いありません。現在のHadoopではYARNにより,MapReudce以外の並列分散処理ミドルウェアが動作するように進化を遂げつつあります。TezもYARN上のアプリケーションのひとつです。Tezの場合,MapReduceフレームワークを置き換えるものとして,静かに着実に浸透するでしょう。昨年末にはバージョン1.2のリリースまでこぎ着けており,スゴい勢いで開発が進んでいます。2015年はSparkの本格的な活用も進むでしょう。Sparkは高い注目を集めているものの,活用事例として公開されているものは大きくありません。Yahoo!台湾でのレコメンデーション,動画配信やCDNでの最適化システムなど数えられる程度です。着実に利用を始めているユーザは増えてきています。この取り組みが2015年中に広く紹介され,これまで以上に注目を集めることになるでしょう。Sparkは,独自のエコシステム(周辺ソフトウェア)が充実している点も注目です。Sparkの特性に合わせた機械学習ライブラリやグラフ処理を実現する取り組みに熱が入っています。成長途上なものが少なくありませんが,使える部分から活用しようという動きが始まっており,ソフトウェアの成熟が図られるとともに,先進的なユーザによる事例が登場するに違いありません。HadoopのキラーアプリケーションはSQLに?Hadoopは,実現したい処理やアイデアを持つユーザにとって強力なツールでした。一方で,Hadoopが「何に」利用できるのか,「⁠どう使ったら」よいか,わからないという意見も多数あったのは事実です。広くレコメンデーションや検索などのシステムを支えてきていましたが,誰でも使うというタイプのものではありませんでした。実際には,多件数データのバッチ処理の高速化にも利用されてきていましたが,どう処理を記述するか等のノウハウも広く知られているとは言えない状況です。そのため「Hadoopにはキラーアプリケーションが必要」といった声が聞こえてきていました。Hadoopのキラーアプリケーションは,SQLの処理系になりそうです。Hadoopと総称される)は,これまでにもHiveなどで行われてきました。従来のHiveでは,SQLライクなクエリをMapReduceとして実行でき,多くのHadoopユーザに利用されてきました。2014」の来場者アンケートで行った調査でも,Hadoopユーザの71.3%がHiveを利用していると回答していました。従来のHiveでは,SQL標準との互換性や性能の面でも課題があるものでした。そのため,JDBCやODBCを利用した接続や各種ツールとの連携には大きな制約がありました。Hadoopでは,SQL標準にこれまで以上に対応し,高スループットと低レイテンシの両面を追求しようとしています。従来のMapReduceに留まらず,DAG型やMPP型の処理系も活用しようとしています。Drillなどを挙げることができます。Hadoopが実用面でも十分な機能,性能,安定性を持ち,既存のユーザに利用されるだけでなく,これを呼び水にしてHadoopユーザが増えるものと見ています。Hadoopと連携するツールも格段に増えていくことになるでしょう。Hadoopを実現するソフトウェアはいくつかあり,その競争も激しくなるでしょう。相互に刺激し合いながら,成長を早めてほしいと期待しています。クラウドサービスやパーソナルデータの取り扱いなどにも注目をここまで,Hadoopを中心にご紹介しましたが,もちろん,ほかにもビッグデータ活用の動向は大きく動いていくでしょう。ひとつ注目したいのは,クラウドサービスでの展開です。AWS,Google,Azureなどでサービス進化が続くでしょうし,より上位のサービスを提供するトレジャーデータなどの動向にも目が離せません。技術的な側面以外にも,パーソナルデータの取り扱いに関する議論や法整備などにも注意を払っておきたいところです。技術的な限界を別の側面からサポートしたり,社会的なコンセンサスをどう取り付けていくのか,実効的な動きが出てくる1年になると思います。2015年は,バズワードとしての「ビッグデータ活用」に留まらず,また従来のデータ活用領域に留まらない,新しいデータ活用が提案・実現される1年になるでしょう。TezやSparkなどの新しい処理基盤の活用が進むことになると思います。皆さんにとっても,有益で楽しい1年になるようお祈りしています。YARN著者プロフィール濱野賢一朗(はまのけんいちろう)1998年からオープンソースソフトウェア(OSS)の利用に向けた取り組みを継続している。基盤システム事業本部にてOSSプロフェッショナルサービスを担当。Japan」や勉強会「Hadoopソースコードリーディング」の企画・運営や日本OSS貢献者賞・奨励賞の実行委員長も務める。2019」を開催しました。DAY1・DAY2の様子を注目セッションとともにお伝えします。LINEのエンジニア3名がイベントに先駆けて見どころを紹介します。コードの安全性・安定性を高める開発サイクル~テスト管理の効率を上げ,脆弱性診断を自動で行う~本連載では,連載「業務を改善する情報共有の仕掛け」を受けつつ,安全性・安定性を加えた開発サイクルについて考えていきます。若者世代から圧倒的な人気を誇るライブ配信&動画投稿コミュニティアプリ「MixChannel」(ミクチャ)の裏側(レコメンドシステムやサーバサイド開発など)について解説していきます。その他の連載CSS3アニメーションでつくるインターフェイス表現CSS3によるアニメーション表現を紹介していきます。その中でも,幅広い読者に応用してもらえるだろうインターフェイスを主なお題とします。MySQL道普請便り本連載では,MySQLを使ったアプリ開発・運用に関するノウハウをご紹介していきます。RecipeUbuntuの強力なデスクトップ機能を活用するための,いろいろなレシピをお届けします。JavaScriptセキュリティの基礎知識JavaScriptに関するセキュリティ上の問題はどこで発生し,どうすれば防ぐことができるのか?について解説していきます。〜システムをきちんと運用するための基礎知識システムは「作って終わり」ではなく,運用の中でさまざまな問題が発生します。問題の発生に備えて事前にどのような対応をしておくべきなのか,問題発生時に何をしなければならないのか,ポイントを解説していきます。きたみりゅうじの聞かせて珍プレーソフトウェア開発の現場で体験したトホホな失敗,思わずうなる珍プレーをきたみりゅうじ氏が四コママンガで紹介。Linuxのメンテナンスの傍ら,Linuxやオープンソースソフトと日々を過ごす著者が,その魅力とつきあい方を,エッセイ風味でお届けします。PRESS特別編集部員,さわやか笑顔のスーパーハカーはまちちゃんとネット大好き14歳わかばちゃんが,毎号,読者の皆さんから寄せられたおたよりを紹介します。皆さんの日頃の悩みにも答えちゃいますよ。]メールでのお知らせメールで次の案内をお送りしております。メールの配信を希望する方は,利用したい項目をチェックしてメールアドレスを入力し,[登録]ボタンをクリックしてください。UPDATES[ほぼ週間に1回]新刊メールマガジン[ほぼ週間に1回]電脳会議の各号案内[ほぼ1ヵ月半に1回]※変更する場合や停止する場合は,登録情報変更ページをご覧ください。※登録いただいたメールアドレスには,そのお知らせ以外,配信いたしません。Ltd.ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。