氏が、自社のデータレイク用の実装プロセスについて説明します。年近い経験を持つ経験豊富な情報技術者です。ビラノバ大学でコンピューター科学の修士号を取得し、ドレクセル大学で情報科学の博士号を取得しています。現在のビッグデータシステムには、しばしばデータレイクと呼ばれる構造が含まれています。データレイクという業界用語は、大量の構造化データと非構造化データを吸収し、多数の同時分析ジョブを実行する機能を備えた大規模なストレージおよび処理サブシステムのことです。スケーラブルで信頼性が高く、レイテンシーが短いストレージソリューションを低いオペレーションのオーバーヘッドで提供するため、データレイクインフラストラクチャとして現在人気の高い選択肢となっています。データの取り込みがしばしば課題となっています。これは、ソースデータのタイプ、ボリューム、速度が組織によって大きく異なっているためです。大規模なデータ取り込みを最適化、合理化する当社のソリューションについて説明します。これは毎日数百万人のアクティブなユーザーに対応している人気の高いソーシャル検出プラットフォームです。さまざまなタイプのデータを、データマイニングタスク、ビジネス向けレポート、高度な分析に公開するような方法で収集、保存する必要がありました。選択し、大量のライブデータを堅牢で信頼性が高く、スケーラブルで運用費用が低い方法で収集するという課題に直面していました。データインフラストラクチャに大量のストリーミングデータをプッシュするプロセスをセットアップすることでした。最大のビジネス価値をできるだけ低いコストで提供することに焦点を置いています。したがって、データレイクについては次のような目標がありました。効果的な意思決定のための高レベルなビジネスインテリジェンスでビジネスユーザーに力を与える。収益を生み出す洞察の発見に必要なデータをデータサイエンスチームに提供する。氏から、自社のサーバーレスアーキテクチャへの移行をどのように支援したかについて、次のようなゲスト投稿が寄せられました。経験と知識を個人ブログやコミュニティでの出会いを通じて共有していきたいと思っています。事例と、サーバーレスアーキテクチャへの移行についてお話したく思います。トルコ最大のオンライン注文企業です。ユーザーは、提携先のネットワークレストランから食材の注文を行うことができ、手数料はかかりません。スケーラブルでパフォーマンスと費用効率の高い、世界中に分散したサービスをセットアップする必要がありました。当社は、サーバーレスアーキテクチャを設計することで、サーバーの管理について心配することなく、チームから多くの運用面の負担を取り除くことができると考えています。コードの大規模な実行に集中できるということです。呼ばれるリアルタイムの割引システムを開発しました。このシステムの目的は、レストランに関して通常ないような割引を顧客に提案することです。使ってウェブサイトやモバイルデバイスと統合されました。公開することを求められました。最初はコードを共有し、関連会社にアプリケーションを統合させることを考えました。当社のコードを使用することで、最初は関連会社による開発が迅速化する可能性がありますが、不慣れなシステムを管理しなければなりません。実装がより簡単で、管理費用がより安い統合方法を見つける必要がありました。つの重点領域がありました。利用可能になりました。本稼働環境での使用をお勧めします。信頼することができ、アップグレードによってビルドが破損することはありません。デベロッパープレビューについて寄せられたフィードバックに基づいて、いくつかの重要な変更や機能強化を行いました。セマンティックバージョニングに従っています。シリーズ内のアップグレードによってビルドが破損することはありません。インターフェイスへと進化しました。ビルドチェーンは、プラットフォームのデフォルト値を簡単に上書きできるよう機能が強化されました。全体の設定オプションを簡単に設定できるようになりました。サポートされるすべてのプラットフォームで対称暗号化のサポートが含まれるようになりました。番目のコミュニティ型エディションです。名の外部寄稿者に特に感謝します。関連するコンテンツの追加は、快適なご自分のウェブブラウザから迅速かつ簡単に行えます。念のためですが、他者によって書かれたコンテンツを追加することもまったく問題ありません。目標は、よく言われるように、すべてをキャッチすることです。ログとダッシュボードの改良を発表しました。ボリュームの構築方法を説明しました。セレクタを使用して、ボットを停止する。サーバーレスアーキテクチャについて書きました。ノードの自動検出の実装方法」のチュートリアルを共有しました。大きなパフォーマンス改善や、64TBまでシームレスにスケールアップするストレージ、堅牢性・可用性の向上を実現しています。AuroraをMySQL互換にデザインすることによって、お客様は既存のアプリケーションの移行や新しいアプリケーションの構築を簡単に行って頂けています。MySQL互換を保ちながら、そしてクラウドネイティブなAuroraアーキテクチャを活用することでAuroraには多くのイノベーションを加えられると考えています。本日、3つのパフォーマンスを改善する新機能をAuroraに追加しました。それぞれの機能は、AWSをご利用の多くのお客様の一般的なワークロードでAuroraのパフォーマンスを改善するように設計されました。keyを利用するストレージ(ディスクページ)を管理します。これはテーブルのシーケンシャルスキャンの高速化や新しく作成されたテーブルに効果的です。行が更新・作成や削除されるにつれて、ストレージがフラグメントされることによって、ページは物理的にシーケンシャルではなくなってきます。スキャン性能が大きく低下します。Ahead機能はページが実際に利用されるまでメモリ内で64ページまでまとめることでフラグメントに対処しています。エンタープライズスケールのワークロードでは、この機能は有効な性能向上にはなりません。今日のアップデートでは、Auroraは多くの状況で賢くこのような状況を扱う機能をご提供します。Auroraがテーブルをスキャンする際に、論理的に判断し、並列で追加のページをプリフェッチします。この並列プリフェッチはAuroraのレプリケーションが行われているストレージ(3つアベイラビリティゾーンにそれぞれ2つずつのコピー)で優位性を発揮し、データベースキャッシュ中のページがスキャンオペレーションに関連しているかを判断するのに役立ちます。index作成を以前のバージョンと比較して最大5倍高速に行えるようになりました。1.7(詳細はこの後の情報をご覧ください)にアップグレードすることで、すぐにこのパフォーマンス改善をご体験頂けます。プライマリー、セカンダリーインデックスをテーブルに作成する時、ストレージエンジンは新しいキーを含んだ木構造を作成します。この処理は、多くのトップダウンのツリーサーチや、より多くのキーの増加に対応するためにツリーの再構築によりページ分割が伴います。Auroraはボトムアップ戦略でツリーを構築します。リーフを最初に作成し、必要な親ページを追加していきます。この機能によりストレージ内の移動を軽減し、加えて各ページが一旦全て埋まるためページを分割する必要がなくなります。この変更により、テーブルのスキーマによりますがindexの追加やテーブルの再構築が最大4倍高速になります。プロフェッショナルの需要が高まっています。認定資格は、技術的熟練度と職務遂行能力を検証するための究極の判断基準と考えられています。プロフェッショナルにとって、キャリアアップにつながることがよくあります。認定資格の取得へと導くトレーニングがより重要になっています。スキルおよび給与レポートをリリースしました(利用には登録が必要)。ビジネスプロフェッショナルからの回答に基づいています。認定資格取得者の価値も示されました。調査結果を取り上げます。新しいスキルを構築するために何らかの形式の専門的能力開発トレーニングに参加したと答え、その半分は、キャリアの証明やスペシャリスト試験の準備が主な動機だと答えました。何らかの形式の認定資格取得トレーニングに参加中か、今年中に参加予定です。そのトレーニングにより仕事の有効性が上がったと答えました。付加価値として開発された新しいスキルがその要因だと答えました。これらは実に興味深い調査結果です。以下に、その概要をインフォグラフィック形式で示します(ご自由にお使いください)。インスタンスのフリートを作成できます。時間あたりの入札価格を入力して、フリートに含めるインスタンスタイプを選択するだけです。数で表記)を維持します。フリート内のインスタンスが価格上昇により終了されると、その時点で最安値の交換用のインスタンスが起動されます。追加により、スポットフリートモデルが強化されました。メトリックスに基づいて、フリートをスケールアップ/ダウンできるようになりました。サービスのものを使用できます。開始されるようにもできます。いずれにせよ、これらのメトリックスを使用してフリートのサイズを制御することで、条件や負荷が変わったとしてもアプリケーションの可用性、パフォーマンス、コストをきめ細かく制御できます。以下に示しているのは、この機能の使用開始に必要ないくつかの概念です。動作しているコンテナベースのアプリケーションをスケーリングします。キュー内のメッセージ数に基づいて、キューベースのバッチジョブをスケーリングします。)に基づいて、フリートをスケーリングします。Jonesが寄稿してくれました。メモリ最適化インスタンスファミリーに新しいX1インスタンスタイプとして、2TBのRAMを搭載したx1.32xlargeの利用開始を5月に発表しました。HANAにBIといったOLAPにおける幅広い用途で、世界中の多くのお客様にご利用いただいています。HANAの提供のご要望も多くいただいていました。BW/4HANAを含むOLAPシナリオの大規模スケールアウト構成におけるSAP認定取得を発表できることを嬉しく思います。BW/4HANAのローンチを私たちがサポートできることに非常に興奮しています。これはほんの始まりに過ぎません。私たちは他のサイズでのX1インスタンスを利用可能にする計画があり、より大きな50TBメモリまでのクラスタ構成を研究室でテストしています。14TBメモリを超える大規模なスケールアウト構成が必要な場合は、ご支援しますので、ぜひご相談ください。HANAを稼働してきました。今回の新しい認定により、コストと複雑性の両方が削減できる、より少ないインスタンス数での大規模スケールアウト構成に統合できる可能性があります。Guideをご参照ください。HANAを保護するために、お客様のご要望に応じた様々なオプションを提供しています。HANAを稼働しているお客様からは、ハードウェア障害に迅速に対応できるように予備のハードウェアやスタンバイノードを購入し非常に高額なメンテナンス契約料を支払わなければならない、とよくお伺いします。他には、残念ながら、何も起こりませんようにと祈って、この余分なハードウェアをなしで済ませようとされています。Recoveryと呼ばれるソリューションです。アラームを簡単に作成できます。復旧されたインスタンスは、アタッチされたEBSボリュームやホスト名、IPアドレス、AWSインスタンスIDなどの構成情報も元のインスタンスと同じものです。CloudWatchの標準料金(例えば、米国東部では月当たりアラームごとに0.10ドル)が適用されます。実質、ハードウェア異常への迅速な復旧のために、私たちの持つ空いているキャパシティをすべてお客様の予備機として活用することが可能です。つのホットスタートアップについてお話します。つのホットスタートアップを取り上げます。民芸品を購入できるプラットフォームを提供しています。メッセージングとグループチャットをすばやく構築できるようにしています。システムが不要なコンテンツ管理ソリューションです。クラウドベースの分析プラットフォームです。氏は、地元の職人が作る美しい作品に魅了されました。人共驚きの色を隠せませんでした。氏は、高い技術を持った職人たちが消費者と直接つながり、より広範なオーディエンスにリーチできるプラットフォームの作成に着手しました。本物の民芸品には、世界中で非常に大きな需要がありますが、消費者がふさわしい購入先を見つけられないことがよくあります。この問題の解決を支援しています。つのプラットフォームに取り込もうとはしてきませんでした。つのスペースにまとめています。提供するだけでなく、それらの各カテゴリをさらにサブカテゴリに分けています。消費者は、ニーズに合ったものを見つけることができます。実行しているアプリケーション内で行うことができます。追加された複数のユーザビリティと機能の改善点についてご説明します。オペレーティングシステムやアプリケーションログファイルを管理する、可用性と拡張性そして耐久性が高く安全なサービスです。ログのデータ取り込み、保管、フィルター、検索、アーカイブを可能にするため、操作の負荷を軽減しアプリケーションとビジネスに集中できるようにします。コンソールにユーザビリティの改善点をいくつか加えました。ダッシュボードにも改善点を加えました。機会均等法を順守しています。平等に採用しています。