分あけましておめでとうございます。Hadoopの開発コミュニティ寄りの視点からお伝えしたいと思います。3.0.0-alpha1がリリースされました。このリリースは,後方互換性のない変更の影響を,HiveやHBaseのようなHadoopに依存するプロダクトの側で,早期に確認できるようにするためのものです。エンドユーザが利用することはあまり想定されていませんが,新しい機能やインタフェースを確認するために,ちょっと使ってみることはできます。Codingは,コールドデータなどを冗長性を下げることなく,効率的に格納するための仕組みです。Serviceは,YARNの基盤上で動作する各種アプリケーションの実行情報,メトリクスを統一的に収集,参照できるようにするための仕組みです。それ以外の変更点としては,NameNodeがスタンバイを複数ノード持てるようになったり,シェルスクリプトで実装されたコマンド群が整理されたりしています。いまやHadoopは多くのプロダクトから依存される状態なので,互換性を崩さずに安定性や運用性を向上させることが重要な課題となっています。これは,新機能を追加することに消極的であるというわけではありません。既存のコードパスに影響を与えないように機能を追加することは,既存のコードを変更することよりもむしろ容易だったりします。ちなみに,Hadoopそれ自体も多くのプロダクトに依存しており,たとえばJSON処理系やロガーなどの汎用的なライブラリのバージョンが,Hadoopに依存する下流のプロダクトやアプリケーションと,バッティングしてしまいがちです。hellと言われる状態です。3.0.0-alpha1の時点ではまだ完成していません。改善したようですが,完成と呼べるまでにはもう少し時間がかかりそうです。実際に大規模データの処理を行うためには,利用目的に応じて,分散ファイルシステム,分散処理エンジン,SQLエンジン,キーバリューストア,メッセージブローカー,データフローエンジン,セキュリティモジュールなど,さまざまな機能を提供するプロダクトを組み合わせて利用することになります。Hadoopを中心とするエコシステムの拡大により前述の機能を実現するための選択肢はどんどん増えていますが,どのプロダクトのどのバージョンをどう組み合わせればまともに使えるのかを把握するのは容易ではありません。Bigtopと呼ばれるプロジェクトが存在します。Hadoop)をビルドするための資材がオープンソース化されたもので,現在ではHadoopエコシステムのプロダクトを広くカバーしています。ビルドしたパッケージをデプロイし,組み合わせての動作を確認するテストもあわせて提供されています。Bigtopのテストを通ること」のような形で言及されています。Bigtopベースのパッケージが利用されています。EMRについては,EMRとしてはサポートしていないHadoopエコシステムのプロダクトを,Bigtopを活用して自分でビルドして,EMR上で使う方法がブログで公開されています。エコシステムが拡大してプロダクトの選択肢が増えた結果,ディストリビュータやサービス提供者が万人にフィットする環境を提供するのが難しい状況を鑑みると,おもしろい使い方の提案と言えそうです。将来的にEMRや各種ディストリビューションに反映されることを期待して,Bigtopにパッチを投稿してみるのもアリかもしれません。Bigtopのコミッタに就任しています。困ったときに日本語で相談できる開発者がいるというのは,日本のユーザにとって助けになるはずです。EMRに代表されるクラウドサービスを利用する場面は以前からありましたが,Hadoopディストリビュータ各社も積極的に取り組むようになり,サービスメニューの選択肢と質が拡充しはじめているように見受けられます。Hadoopを使う必要があるほどの大量のデータを持ち,サーバ環境として多数のハードウェアを用意できるユーザは決して多くはなかったため,Hadoopコミュニティの裾野が広がりにくかったという側面がありましたが,クラウドサービスの拡充でHadoopの利用を視野に入れる人が,より一層増えることが期待されます。後発となるクラウドサービスでは,プラットフォームで利用されている技術,仕様がオープンであり,別のサービスから容易に移行できることがアピールされています。API」をサポートしていることをその価値として謳っています。Beamプロジェクトとしてオープンソース化しています。Incubatorに採用されたというニュースがありました。2016年を振り返るにあたり,こちらを取り上げておきたいと思います。ユーザにとって,利用しているソフトウェアが特定の企業やサービスの寿命とは独立に存在し続けることには価値がありますが,この場合,単にソースコードがOSSライセンスに基づき公開されているだけではなく,開発者やユーザを含めたコミュニティが,利用者にとって十分な期間,持続可能な状態になっていることも重要です。Incubatorという取り組みがあります。ここでは,メンターを付けたり,Webサイト,メーリングリスト,ソースコードリポジトリなどのインフラを提供することでソフトウェアプロジェクトの立ち上がりを支援しています。プロダクトがASFに寄贈され,Incubatorプロジェクトとして活動し,Incubatorを卒業するというのが,Hadoopエコシステムのプロダクトの定番の流れとなっています。2016年9月には日本人開発者が中心となって,機械学習のライブラリを提供するHivemallがIncubatorに加入しました。今後の発展が期待されます。3.0がリリースされる年になるはずです。3.0で何かまったく新しいことができるようになるわけではなく,メジャーバージョンアップだからこそできる整理整頓をしてプロダクトとしての成熟度を示すものという位置づけになるでしょう。不揮発性メモリなど,新しいハードウェアの活用も引き続き期待されます。これはHadoopの既存のコードの延長線上というよりは,新しいプロダクトとして出てくる可能性の方が高いかもしれません。エコシステム全体をみれば多くのユーザが存在し,データ処理基盤をさらに活用したいというニーズがあるという事実が,Hadoopを後押しする力となるのではないでしょうか。課題がありつつも,並列分散処理エンジンの進化は速く,その影響力も広がり続けています。皆さんには2017年もHadoopとエコシステムを活用して,役立つ,面白い取り組みを進めてもらえばと考えています。はじめとする分散処理を安心して使えるようにするための取り組みを進める。共著に『Hadoop徹底入門』(第2版)。Hadoopを利用したシステムの導入支援および技術サポートに従事。Hadoopコミュニティでの開発に参加し,2014年にHadoopのコミッタに就任。Committee)に就任。本体および周辺ツールの開発経験を経て,現在オープンソースの並列分散処理ミドルウェアを主に担当するチームを束ねる。お客様への導入推進を担当。多数の業種でのHadoop関連システムの構築・運用に携わる。Bigtopコミッタに就任。2019」を開催しました。DAY1・DAY2の様子を注目セッションとともにお伝えします。LINEのエンジニア3名がイベントに先駆けて見どころを紹介します。コードの安全性・安定性を高める開発サイクル~テスト管理の効率を上げ,脆弱性診断を自動で行う~本連載では,連載「業務を改善する情報共有の仕掛け」を受けつつ,安全性・安定性を加えた開発サイクルについて考えていきます。若者世代から圧倒的な人気を誇るライブ配信&動画投稿コミュニティアプリ「MixChannel」(ミクチャ)の裏側(レコメンドシステムやサーバサイド開発など)について解説していきます。その他の連載CSS3アニメーションでつくるインターフェイス表現CSS3によるアニメーション表現を紹介していきます。その中でも,幅広い読者に応用してもらえるだろうインターフェイスを主なお題とします。MySQL道普請便り本連載では,MySQLを使ったアプリ開発・運用に関するノウハウをご紹介していきます。RecipeUbuntuの強力なデスクトップ機能を活用するための,いろいろなレシピをお届けします。JavaScriptセキュリティの基礎知識JavaScriptに関するセキュリティ上の問題はどこで発生し,どうすれば防ぐことができるのか?について解説していきます。〜システムをきちんと運用するための基礎知識システムは「作って終わり」ではなく,運用の中でさまざまな問題が発生します。問題の発生に備えて事前にどのような対応をしておくべきなのか,問題発生時に何をしなければならないのか,ポイントを解説していきます。きたみりゅうじの聞かせて珍プレーソフトウェア開発の現場で体験したトホホな失敗,思わずうなる珍プレーをきたみりゅうじ氏が四コママンガで紹介。Linuxのメンテナンスの傍ら,Linuxやオープンソースソフトと日々を過ごす著者が,その魅力とつきあい方を,エッセイ風味でお届けします。PRESS特別編集部員,さわやか笑顔のスーパーハカーはまちちゃんとネット大好き14歳わかばちゃんが,毎号,読者の皆さんから寄せられたおたよりを紹介します。皆さんの日頃の悩みにも答えちゃいますよ。]メールでのお知らせメールで次の案内をお送りしております。メールの配信を希望する方は,利用したい項目をチェックしてメールアドレスを入力し,[登録]ボタンをクリックしてください。UPDATES[ほぼ週間に1回]新刊メールマガジン[ほぼ週間に1回]電脳会議の各号案内[ほぼ1ヵ月半に1回]※変更する場合や停止する場合は,登録情報変更ページをご覧ください。※登録いただいたメールアドレスには,そのお知らせ以外,配信いたしません。Ltd.ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。