Gleyzer両氏によって共同開発されました。2019で、同言語の発表を行いました。InfoQはPurdy氏に言語と、氏らが解決を目指した問題について聞きました。設計/アーキテクチャアジャイルマニュフェスト:ソフトウェアアーキテクトの視点ソフトウェアアーキテクトの役割と責任はアジャイルソフトウェア開発のためのマニフェストの価値と矛盾していると見えますが、優れたアーキテクトはアジャイル開発チームをサポートするテクニックを見つけています。Streamingは、ストリーミングデータのためのSQLライクなインターフェースを提供します。Streamsによって、Redisがストリーミングデータを複数のプロデューサとコンシューマの間で消費、保持、配信することができるようになります。ソフトウェア開発のマニフェストたゆまず息もつかずに市場に突進することで、会社を静かに消滅の崖っぷちへと追い込みます。それは設計してコードを書く方法を再考する時です。簡単さへの投資は、速さへの投資です。簡単さは知的財産の主鉱脈でもあります。競争上の優位性は、一度失ったら、もう一度手に入れることはほとんど不可能です。Buytaerts氏が過去10年間にわたって、企業がDevOps採用のハイプサイクルをくぐり抜け、変革に対する誤解を解消する過程を支援してきた経験について語ります。_原文(投稿日:2019/05/24)へのリンクWalmartLabsのエンジニアリングチームは「Expo」と呼ばれるリアルタイムのA/Bテストツールを開発した。それはユーザエンゲージメントメトリックを収集し分析する。Streamingを使用する。A/Bテストは、既存のバージョンと比較して、アプリ、Webサイト、アルゴリズムの変更がユーザの行動に与える影響を測定する。A/B実験での「バリエーション」は、ユーザに公開されるさまざまな種類のUI/アルゴリズムがある。本番稼働中のバージョンは「コントロール」と呼ばれる。WalmartLabのExpoでは、「これらのパターンの間でトラフィックを分割」し、ユーザエンゲージメントメトリックスを取得する。システムは、実験の実行中にメトリック内の異常な傾向と誤検知を検出できる。Expoは、Spark構造化ストリーミングジョブ、Kafka、KairosDB、Grafanaを使用して構築されている。これは、トラフィックが多いときにパフォーマンスの問題があった以前のLambdaベースのパイプラインに代わるものです。Esfandani氏に連絡した。ExpoはKafkaクラスタに転送されるログ(サーバーログ、ビーコン)を処理することによって機能する。ログ内の各ユーザはセッションIDで識別される。Sparkでアプリとして、ジョブは1分ごとに実行され、構造化ストリーミングを使用してイベントをログに記録し、2段階でメトリクスを生成する。回復力のために、ジョブのコピーが別のデータセンターで実行される。ジョブは生成されたメトリックをKairosDBに書き込む。これは裏でCassandraが機能している時系列データベースである。システムはまた、Grafanaダッシュボードで使用されるKairosDBに独自のヘルスメトリックを追加している。Esfandani氏は、これが実行される規模について説明する。ジョブの各インスタンスは現在180個のコアで実行されています。毎秒30k~60kのレートでデータを取得し、1分あたり100万~300万レコードのレートでCassandraにメトリックをプッシュしています。Scalaで書かれたSparkジョブは、各ユーザの行動を「セッション」に集約する。Flinkなどのストリーミングフレームワークを使用すると、開発者は時系列データの連続したストリームをウィンドウ内にグループ化して処理できる。時系列データは遅れて到着したり、順序が入れ替わる可能性があり、これらのフレームワークは、そのような場合に対処するための抽象化を提供する。Expoジョブの第2段階では、すべてのセッションにわたるメトリックが毎分集約されてKairosDBに保存される。これにより、その分におけるすべてのユーザのメトリック値が得られる。Esfandani氏、許可を得て使用。Esfandani氏は、Sparkは汎用フレームワークであるため、チームはセッション化のためにカスタムコードを記述しなければならなかったと言っている。彼は、「WalmartLabsで開発したセッション化部分は、いくつかの修正を加えて、Spark上のセッション化のためのサードパーティライブラリとしてオープンソースにすることができる」と述べている。Expoでは、遅れたイベントを処理するために、Sparkのウォーターマーキング機能を使用している。Esfandani氏によると、エキスポのウォーターマークの値は10分である。イベントは最大10分遅れて処理されるいうことである。Expoの各実験は、事前定義された測定ポイントを持つテナント(モバイルアプリ、Webサイト)IDを持って実行される。現在Walmart全体で8つのテナントをサポートしている。毎週火曜日に前週のまとめコンテンツがお送りいたします。25万人ものシニアデベロッパーのコミュニティーにぜひご参加ください。サンプルを見るあなたのメールアドレスはこちら国を選んでください。プライバシーポリシーに従って私の個人情報を扱うことに同意します。登録するとさまざまなことができます。アカウント登録をしてInfoQをお楽しみください。あなたの意見をお聞かせください。毎週火曜日に前週のまとめコンテンツがお送りいたします。25万人ものシニアデベロッパーのコミュニティーにぜひご参加ください。サンプルを見る様々なイノベーターとアーリーアダプターがお送りするテクノロジーの概要を見る。自分がまだ知らないことに気づいていないと知るあなたが興味のあるトピックスをいつでも最新な情報に。あなたのメールアドレスはこちら国を選んでください。プライバシーポリシーに従って私の個人情報を扱うことに同意します。よい世界へ私たちが暮らす世界を大切に思い、よりよいものにしたいと考えています。人のためのソフトウェア開発を加速し私たちのミッションを実現することで、この思いを成し遂げようとしています。私たちは利益の1%をさまざまな慈善団体に寄付しています。会社として、また従業員として、そうしたことの価値を強く信じているからです。with.プライバシーBTあなたのプロファイルは最新ですか?プロフィールを確認してアップデートしてください。アドレス*Eメールを変更すると確認のメールが配信されます。会社名:現在の会社名をご入力ください。Other組織規模:現在の組織規模をご入力ください。2,501+国:現在の国を設定してください。Zimbabwe都道府県:現在の都道府県に設定してください。次の都道府県にアップデートする:ニュースレターを購読しますか?インダストリーメールを購読しますか?本Eメールに登録すると、以前より関心のあったトピックの関連情報をお送りする場合がございます。詳細はこちらのプライバシーポリシーをご覧ください。newsletter?新しいメールアドレスに確認用のメールを送信します。このポップアップ画面は自動的に閉じられます。