Gleyzer両氏によって共同開発されました。2019で、同言語の発表を行いました。InfoQはPurdy氏に言語と、氏らが解決を目指した問題について聞きました。設計/アーキテクチャアジャイルマニュフェスト:ソフトウェアアーキテクトの視点ソフトウェアアーキテクトの役割と責任はアジャイルソフトウェア開発のためのマニフェストの価値と矛盾していると見えますが、優れたアーキテクトはアジャイル開発チームをサポートするテクニックを見つけています。Streamingは、ストリーミングデータのためのSQLライクなインターフェースを提供します。Streamsによって、Redisがストリーミングデータを複数のプロデューサとコンシューマの間で消費、保持、配信することができるようになります。ソフトウェア開発のマニフェストたゆまず息もつかずに市場に突進することで、会社を静かに消滅の崖っぷちへと追い込みます。それは設計してコードを書く方法を再考する時です。簡単さへの投資は、速さへの投資です。簡単さは知的財産の主鉱脈でもあります。競争上の優位性は、一度失ったら、もう一度手に入れることはほとんど不可能です。Buytaerts氏が過去10年間にわたって、企業がDevOps採用のハイプサイクルをくぐり抜け、変革に対する誤解を解消する過程を支援してきた経験について語ります。Kubernetes"と題した基調講演を行った。講演の中で氏が強調したのは、Kubernetesクラスタ内でApacheソフトウェアを動作させるためのコントロールプレーンを提供する、オープンソースのKubernetesオペレータを開発することによって、Apacheのビッグデータソフトウェアを"クラウドネイティブ"にするという、Googleの取り組みについてだった。Platform(GCP)で提供されている、さまざまなApacheアプリケーションのマネージドバージョンについて言及した。SparkとHadoopクラスタのマネージドバージョンを提供している。講演では、これらクラスタの管理に伴う問題点と、クラスタ管理をKubernetesに切り替えることによって、その問題の多くを解決できることが紹介された。Dataprocチームは自分たちのプロダクトにKubernetesサポートを組み込んでいるが、その開発成果の多くがオープンソース化されているため、ユーザが自身のKubernetesクラスタでSparkとHadoopを実行することも可能である。SparkとHadoopは、クラスタ化されたマシン上で動作する分散システムであるため、さまざまなクラスタノードの正常性の確認、障害の発生したノードの再起動または置き換え、ジョブのスケジューリングといった、さまざまな管理タスクを処理するクラスタ管理システムが必要になる。いずれのシステムも、YARNやMesosなど、複数のクラスターマネージャをサポートする。APIへの統合を中心としたものだ。一方で、YARNの使用にはいくつかの問題点がある、とCrosbie氏は言う。YARNの他のコンポーネントへの依存関係が、結果としてオープンソースソフトウェアスタック構成となり、依存関係の管理やバージョン管理、およびジョブの調整が困難になるのだ。運用上のオーバヘッドの削減を目的に、すべてのジョブを単一のクラスタで運用している組織は珍しくはない。このような構成では、ジョブがリソースを奪い合うことになり、クラスタが過剰にプロビジョニングされる可能性がある。クラスタマネージャとしてKubernetesを使用することで、これらの問題を解決できる、とCrosbie氏は主張する。現在では多くの組織が、コンテナ化した独自アプリケーションのクラスタマネージャとしてKubernetesを運用しているが、Sparkの管理にKubernetesを使用することによって、YARNやMesosなどの第2のリソース管理インターフェイスが不要になり、オペレーションを簡略化することができる。アプリケーションはコンテナ化されていて、依存関係やバージョン管理が各コンテナに"ビルトイン"されているため、運用はさらに分離される。セキュリティパッチとO/SアップデートはKubernetesクラスタ自体より下位のレベルで処理され、SparkやHadoopコンテナの変更を必要としないので、システム全体のレジリエンスも向上する。これによってKubernetesコントロールプレーンAPIが、ホストされているアプリの"ことばを話す"ことができるようになる。Flink用のオペレータをオープンソースとして開発している。chartをダウンロードして独自のKubernetesクラスタ上で実行することも可能だ。YARNからKubernetesに切り替えることの長所と短所をリストアップして、Crosbie氏は自身の講演を締め括った。短所の多くは、運用上の"惰性"によるものだ。既存のジョブがYARNで実行するように設定されている場合、Kubernetesに移行するためには、改めて設定する必要がある。同じような例として、YARNのログファイルの規則に習熟していて、それを対象とした監査や監視機能が構築されている場合も考えられる。Crosbie氏は、複数のレイヤを持つKubernetesのセキュリティを、"ロシア人形"に例える。RBACコントロール内にあり、それがVMサービスアカウント内にあります。Identityによって支えられているのです。Spark用Kubernetesオペレータは、IBMおよびMicrosoftと共同で開発されたものだ。昨年アルファ版としてオープンソース化され、今年になってベータ版としてリリースされた。毎週火曜日に前週のまとめコンテンツがお送りいたします。25万人ものシニアデベロッパーのコミュニティーにぜひご参加ください。サンプルを見るあなたのメールアドレスはこちら国を選んでください。プライバシーポリシーに従って私の個人情報を扱うことに同意します。登録するとさまざまなことができます。アカウント登録をしてInfoQをお楽しみください。あなたの意見をお聞かせください。毎週火曜日に前週のまとめコンテンツがお送りいたします。25万人ものシニアデベロッパーのコミュニティーにぜひご参加ください。サンプルを見る様々なイノベーターとアーリーアダプターがお送りするテクノロジーの概要を見る。自分がまだ知らないことに気づいていないと知るあなたが興味のあるトピックスをいつでも最新な情報に。あなたのメールアドレスはこちら国を選んでください。プライバシーポリシーに従って私の個人情報を扱うことに同意します。よい世界へ私たちが暮らす世界を大切に思い、よりよいものにしたいと考えています。人のためのソフトウェア開発を加速し私たちのミッションを実現することで、この思いを成し遂げようとしています。私たちは利益の1%をさまざまな慈善団体に寄付しています。会社として、また従業員として、そうしたことの価値を強く信じているからです。with.プライバシーBTあなたのプロファイルは最新ですか?プロフィールを確認してアップデートしてください。アドレス*Eメールを変更すると確認のメールが配信されます。会社名:現在の会社名をご入力ください。Other組織規模:現在の組織規模をご入力ください。2,501+国:現在の国を設定してください。Zimbabwe都道府県:現在の都道府県に設定してください。次の都道府県にアップデートする:ニュースレターを購読しますか?インダストリーメールを購読しますか?本Eメールに登録すると、以前より関心のあったトピックの関連情報をお送りする場合がございます。詳細はこちらのプライバシーポリシーをご覧ください。newsletter?新しいメールアドレスに確認用のメールを送信します。このポップアップ画面は自動的に閉じられます。