Gleyzer両氏によって共同開発されました。2019で、同言語の発表を行いました。InfoQはPurdy氏に言語と、氏らが解決を目指した問題について聞きました。設計/アーキテクチャアジャイルマニュフェスト:ソフトウェアアーキテクトの視点ソフトウェアアーキテクトの役割と責任はアジャイルソフトウェア開発のためのマニフェストの価値と矛盾していると見えますが、優れたアーキテクトはアジャイル開発チームをサポートするテクニックを見つけています。Streamingは、ストリーミングデータのためのSQLライクなインターフェースを提供します。Streamsによって、Redisがストリーミングデータを複数のプロデューサとコンシューマの間で消費、保持、配信することができるようになります。ソフトウェア開発のマニフェストたゆまず息もつかずに市場に突進することで、会社を静かに消滅の崖っぷちへと追い込みます。それは設計してコードを書く方法を再考する時です。簡単さへの投資は、速さへの投資です。簡単さは知的財産の主鉱脈でもあります。競争上の優位性は、一度失ったら、もう一度手に入れることはほとんど不可能です。Buytaerts氏が過去10年間にわたって、企業がDevOps採用のハイプサイクルをくぐり抜け、変革に対する誤解を解消する過程を支援してきた経験について語ります。MapReduceの実装と分散ファイルシステムを含む、オープンソースの分散コンピューティングプラットフォームです。Zawodnyによる概要説明をお伝えしました(記事)。Cuttingに話を聞くことができました。このInfoQスペシャルインタビューでは、YahooにおいてHadoopがどのように使われているか、その開発におけるチャレンジ、そしてプロジェクトの将来的な方向性についてCuttingが語ってくれています。普段から、ランキング機能や広告のターゲッティングなど、製品やサービスを改善するタスクを調査するためにHadoopを使っています。わずかなケースですが、Hadoopによって生成されたデータが直接製品に使われたりもしています。Hadoopの長期的なゴールは、Web検索用にクロールしたデータの分析など、次世代のWebスケールなサービスをサポートする、世界に通用する分散コンピューティングツールを提供することです。Hadoopに焦点を置いて直接従事する開発者のチームを持っています。彼らの主たる仕事は、Apacheのオープンソースプロジェクトに対して活発に貢献することです。日、週、月単位でHadoopに貢献する、Yahoo!以外の人間もわずかにいます。スケーラブルなインフラストラクチャに対して、Googleと比較すると明らかに異なるアプローチを採用しています。Googleはそのテクノロジーに関する多くの資料を公表してはいますが、一般的に利用できるものではありません。オープンソースは、そのプロダクトが生み出すであろうものに全ての人が賛同し、かつ汎用的なニーズに対する文書化された解決策が存在するときに最もうまく行きます。オープンソース開発モデルは、多くの分野において幅広いアプリケーションのバラエティを持つような、インフラとなるソフトウェアに対しては特にうまく行きます。FreeBSD、Linux、Apache、PHP、MySQL、などです。とってもまた、最先端の大きな分散処理システムの構築を進めるのに役立っています。ソースコードは、パズルの一ピースでしかありません。使用して大きな問題を解決することのできる、素晴らしく才能にあふれた開発者のチームを、組織は依然として必要としています。正しいインフラを配置し、管理する能力もまた非常に重要です。今日、必要なリソースの全てを持つ企業は非常に少数です。最後に、エンジニアはオープンソースに従事することを非常に好みます。将来プロジェクトで使う可能性のある非プロプライエタリな技術を学ぶ一方で、より大きな開発者同士のコミュニティ内で知名度を上げる助けになるからです。した環境はまた、すぐれたエンジニアを採用するのをより容易にします。Yahoo!とHadoopコミュニティは、大規模分散コンピューティングに対するニーズを理解するために協力すること、かつ、誰もが使えて修正できるソリューションを作り出すために、我々のノウハウと技術を共有することにより、どちらも利益を享受しています。技術自体に話を戻すと、昨年Hadoopの速度と信頼性を向上させたことにより、あなたが学んだことは何でしょうか。私は500ノードにおけるある種のベンチマークで、1年前より20倍以上速くなっていることに注目しました。規模のサービスにおけるソフトウェア基盤を構築する過程で、同様の機能を必要としていそうな企業や組織の数が増え続けていることを、Yahoo!は認識しました。Yahoo!はプロプライエタリなソリューションよりもオープンソースのアプローチを採用することを決め、その推進のために私を雇用し、プロジェクトへの支援を始めました。現在までのところ、Yahoo!はプロジェクトのコードの大部分に貢献しています。スピードアップは過去数年における我々の作業の集大成であり、ほとんどがトライ・アンド・エラーによって成し得たものです。あるサイズのクラスタ上でスムーズに動作したら、次はクラスタのサイズを倍にし、何が起こるかを見ます。我々は、クラスタのサイズを増やすにつれ、パフォーマンスがリニアに拡大することを目標としています。このプロセスから我々は学び、そしてさらにクラスタのサイズを増加させます。クラスタのサイズを増やす度にエラーの数や種類も増加するため、信頼性の確保がどんどん難しくなっていきます。したことを行うたびに何かを得て学び、オープンソースのグリッドコンピューティングにおける一般的な知識に寄与しているのです。規模が大きくなるにつれて新しいエラーモードが表面化し、以前はまれにしか起こらなかった問題が日常化して対処が必要となり、我々が学んだレッスンは次のイテレーションに影響を与えます。EC2上で動かすイメージが去年から出てきています。これはにより、開発者たちは彼ら自身の小さなクラスタを素早く起動することができます。呼ばれるプロジェクトを持っています。これはHadoopのオープンソースプロジェクトに対して寄与されるためのプロセスを経ているところです。EC2は、Hadoopを始めようとする人々にとって理想的な環境です。巨大なクラスタを操作することは複雑で、かつリソースを消費するものだからです。この10年間、大規模分散コンピューティングソフトウェアは多くの企業や学術研究機関で内部的に開発されてきました。最近興味深いのは、コンピューティングの経済的な側面がより好意的に受け止まられ、消費者向けの製品の中でアプリケーションがより目に見えるようになってきたことです。Yahoo!はオープンで非プロプライエタリな環境においてHadoopを開発することを決めました。Hadoopを誰が使い、修正しようとも自由です。ゴールは、現在存在するもののクローンを行うというものから広がっています。我々は、誰もが利益を享受できる使いやすいシステムの構築に焦点を置いています。我々はGoogleが公開しているほとんどの最適化と、公開していない多くの物を実装してきました。Yahoo!はプロジェクトにおいてリーダー的な役割を担っています。ニーズと非常にマッチし、そしてこのテクノロジーを世界中で共有することに利益を見出しているからです。最新の公式リリースは0.13.1です。218個の変更とともに(source)、0.14.0のリリースがまさに行われたばかりです。おける最も大きな変更はファイルシステムについてです。データの整合性を非常に向上させました。これはほとんどのユーザに対してはほとんど目に見えない変更ですが、ファイルシステムがデータの破損を早く、より効率的に見つけることができるということを意味しています。これは非常に重要です。我々が扱うデータセットとクラスタのサイズによっては、メモリとディスクのどちらにおいてもデータの破損が頻繁に起こるからです。API、そしてその他にも多くの機能やバグフィックス、最適化を追加しました。0.15.0はまだ具体化されている最中で、現在のところ88個の変更が計画されています(source)。ファイルシステムに対する認証と権限が追加され、クラスタを共有している人々が、他人のファイルを修正してしまうのを難しくします。MapReduceのAPIに多くの変更を行うことも計画しています。これはユーザにアプリケーションの変更を要求しますので、非常に骨の折れる仕事です。最初の一回で決着をつけてしまいたいと思っています。我々は現在のところ、1.0以前のリリースとしては0.15が最後になればよいと思っています。一度1.0をリリースしてしまうと、互換性のない変更に対してはより保守的になる必要があるでしょう。我々はすでに後方互換性について多くの注意を払っていますが、1.0ではより重要になることでしょう。計画では、1.0に対して書かれたあらゆるユーザコードは、その後の1.Xリリース全てで、変更することなしに動作すべき、としています。そのため、しばらくの使用にも耐えうるか、せめて後方互換性を保ったまま簡単に拡張することのできるAPIであるかを確かめる必要があります。0.15でトライし、1.0のリリースでそれらをロックしてしまう前の一リリースとして付き合うつもりです。毎週火曜日に前週のまとめコンテンツがお送りいたします。25万人ものシニアデベロッパーのコミュニティーにぜひご参加ください。サンプルを見るあなたのメールアドレスはこちら国を選んでください。プライバシーポリシーに従って私の個人情報を扱うことに同意します。登録するとさまざまなことができます。アカウント登録をしてInfoQをお楽しみください。あなたの意見をお聞かせください。毎週火曜日に前週のまとめコンテンツがお送りいたします。25万人ものシニアデベロッパーのコミュニティーにぜひご参加ください。サンプルを見る様々なイノベーターとアーリーアダプターがお送りするテクノロジーの概要を見る。自分がまだ知らないことに気づいていないと知るあなたが興味のあるトピックスをいつでも最新な情報に。あなたのメールアドレスはこちら国を選んでください。プライバシーポリシーに従って私の個人情報を扱うことに同意します。よい世界へ私たちが暮らす世界を大切に思い、よりよいものにしたいと考えています。人のためのソフトウェア開発を加速し私たちのミッションを実現することで、この思いを成し遂げようとしています。私たちは利益の1%をさまざまな慈善団体に寄付しています。会社として、また従業員として、そうしたことの価値を強く信じているからです。with.プライバシーBTあなたのプロファイルは最新ですか?プロフィールを確認してアップデートしてください。アドレス*Eメールを変更すると確認のメールが配信されます。会社名:現在の会社名をご入力ください。Other組織規模:現在の組織規模をご入力ください。2,501+国:現在の国を設定してください。Zimbabwe都道府県:現在の都道府県に設定してください。次の都道府県にアップデートする:ニュースレターを購読しますか?インダストリーメールを購読しますか?本Eメールに登録すると、以前より関心のあったトピックの関連情報をお送りする場合がございます。詳細はこちらのプライバシーポリシーをご覧ください。newsletter?新しいメールアドレスに確認用のメールを送信します。このポップアップ画面は自動的に閉じられます。