年に創立された会社です。データ指向で顧客第一のアプローチを通じた最高の技術ソリューションにより、作業とプロセスの従来の形態とは異なる革新的なソリューションを提供することです。業界がテクノロジーと対話する方法を基本的に変更することを目的としています。過去数年間にわたり、私は何もないところから、多くのデータウェアハウスを開発し、作ってきました。業界のデータウェアハウスを単独で構築しました。データ管理エコシステムを利用しました。この投稿では、一般的には必要な大きな専門家チームなしに、堅牢でスケール自在なデータウェアハウスを構築できた方法を説明します。ShareETL(Extract、Transform、Load)プロセスを使用すると、ソース・システムからデータ・ウェアハウスにデータをロードできます。これは、通常、バッチまたはほぼリアルタイムのインジェスト(挿入)プロセスとして実行され、データウェアハウスを最新の状態に保ち、エンドユーザーに最新の分析データを提供します。Redshiftは、高速でペタバイト規模のデータウェアハウスであり、データ駆動型の意思決定を簡単に行うことができます。Redshiftを使用すると、標準的なSQLを使用して、費用対効果の高い方法で大きなデータを洞察することができます。StarおよびSnowflakeスキーマから、分析クエリを実行するための単純化された正規化されていないテーブルまで、あらゆるタイプのデータモデルを使用した分析が可能です。Redshiftのアーキテクチャを考慮してETLプロセスを設計します。Redshiftに移行する場合、リフト・アンド・シフト方式を採用することが魅力的ですが、結果としてパフォーマンスとスケールの問題が長期的に発生する可能性があります。この記事では、ETLプロセスにおける最適かつ一貫した実行時間を確保するためのベスト・プラクティスを下記にご紹介します。RedshiftはMPP(大規模並列処理)データベースで、すべての計算ノードがデータの取り込み作業を分割して並列化します。各ノードはさらにスライスに細分され、各スライスは1つ以上の専用コアを有し、処理能力を等しく分割します。ノードあたりのスライス数は、クラスタのノードタイプによって異なります。各DS2.XLARGE計算ノードには2つのスライスがありますが、各DS2.8XLARGE計算ノードには16のスライスがあります。Redshiftにデータを読み込むときは、各スライスに同じ量の作業をさせることを目指すべきです。1つの大きなファイルまたは不均一なサイズに分割されたファイルからデータをロードすると、一部のスライスは他のスライスよりも多くの仕事をする必要があります。その結果、プロセスは最も遅い、または最も負荷の高いスライスと同じ速度で実行されます。以下の例では、1つの大きなファイルが2ノードのクラスタにロードされ、ノード「Compute-0」のうちの1つだけがすべてのデータ処理を実行します。GB)であることを確認してください。ファイル数は、クラスタ内のスライス数の倍数にする必要があります。gzip、lzop、またはbzip2を使用してロードファイルを個別に圧縮し、大規模なデータセットを効率的にロードすることを強くお勧めします。1つのテーブルに複数のファイルをロードする場合は、複数のCOPYコマンドではなく、テーブルに対して1つのCOPYコマンドを使用します。Redshiftはデータの取り込みを自動的に並列化します。1つのCOPYコマンドを使用してデータをテーブルにバルクロードすると、クラスタリソースの最適な使用と可能な限り高いスループットが可能となります。利用可能となりました。これにより、データベースの構築、可用性、スケーラビリティを確保するための選択肢が広がります。ハイエンドな商用データベースのパフォーマンスと可用性、オープンソースデータベースのシンプルさとコスト効率性を兼ね備えています。倍であり、さらにより高いスケーラビリティ、耐用性、およびセキュリティを備えています。製品ページをご覧ください。リージョンごとのサポート状況については、製品およびサービス一覧をご覧ください。移行に関して機能が追加されています。レプリカの作成:これにより、スナップショットからの移行に比べてよりダウンタイムの短い移行が実現できます。インスタンスからの移行が可能です。既存のデータベースからの移行については、その運用環境に基づいて、いくつかの選択肢が考えられます。提供する機能を利用して移行できます。上記のアップデートでも紹介しましたが、具体的には以下の通りです。個人情報の取り扱いに関する義務が明確になりましたが、一方でクラウドをご利用する上で配慮すべき点が増え、考慮されているお客様もいらっしゃるかと思います。利用」(ホワイトペーパー)を準備し、コンプライアンスのリソースページにて公開しました。移行する際の主な検討事項となる以下の点について解説しています。上記のようなお客様がクラウドのセキュリティやプライバシーについて検討いただく際に、最も重要となるのが「責任共有モデル」についての理解です。クラウドサービスにおけるインフラストラクチャ自体のセキュリティについて責任を持ちます。一方で、お客様はサービス利用に際して法令を遵守し、併せて当該クラウド環境の上に構築するサービス、オプションの構成やデータ保護のための追加の構成等によりご自身のコンテンツについてのセキュリティを確保するという責任を持つことになります。2者でシステム全体の統制やセキュリティを担保していくモデルを「責任共有モデル」と呼んでいます。責任共有の考え方」をご参照ください。コンテンツの所有権と管理権が移るようなことはありません。したがって、コンテンツの性質やセキュリティ要件に応じたセキュリティの強度レベルを決定できるのはお客様自身となります。サービスをどのように構成し、アクセス権をどのように付与し、どのリージョンを使用するか等の個別な設定については、お客様の判断と責任の下でコントロールしていただくことになります。お客様のコンテンツにアクセスをする可能性があるかにつきましては、「カスタマーコンテンツにアクセスできるのは誰か?」をご参照ください。ファシリティ、物理セキュリティ、物理インフラ、ネットワークインフラ、仮想インフラの管理につき責任を負います。おける最優先事項です。セキュリティに対する継続的な投資を行い、セキュリティ専門部隊を設置しています。サービスをご利用いただけるよう幅広いセキュリティ機能、ツールを備え、お客様に提供しています。通じてオンラインにて直接確認いただくことが可能です。コンプライアンスレポート等。Coreサービスで、ポート443でTLSクライアント認証を使用してMQTTを使用してデバイスを接続できるようになりました。この機能を利用してどのようにデバイスを接続するのかを知るには次をお読みください、デバイス接続方法についてを知るには最後のセクションをお読みください。TCP接続は通常、IPアドレスとポート番号の組み合わせの関連付けがなされています。そのために、アプリケーションが他のサードパーティのアプリケーションと通信できるようにするためには、使用するポート番号の問い合わせが発生します。組織に登録されているTCPとUDPの様々なメッセージプロトコルに対するマッピングを維持管理しています。これは標準的なリストではありませんが、広く採用されています。TLSとして登録済みのポートです。Coreはこれらの規格を可能な限り遵守していますが、これを逸脱するシナリオがあることをお客様から学びました。運用メトリックを公開できるようになります。大規模の推論のための深層学習モデルの展開を簡素化するオープンソースライブラリです。次の機能を備えています。モデルアーティファクトを単一のモデルアーカイブにパッケージ化するためのツール。アーカーブはモデルを提供するために必要なすべてのアーティファクトをカプセル化します。モデルアーカイブにパッケージ化されたカスタムコードを使用して、推論の実行パイプラインの各段階をカスタマイズする機能。エンドポイントと推論エンジンを含む、事前構成されたサービススタック。エンドポイントを監視するためのリアルタイム運営メトリックス。インストールできます。複数の深層学習フレームワークの間の相互運用性を可能にします。Shareこんにちわ。エバンジェリストの亀田です。Servicesのラウンチセミナーを行いましたので、その資料公開とともに内容をブログでお届けします。Servicesは、クラウド上で動画ワークフローを構築可能なフルマネージドのメディアサービス群となります。このサービスを使用して、信頼性の高い、ブロードキャスト品質の動画ワークフローをクラウド上で簡単に構築できます。Servicesを使用すると、メディアおよびエンターテイメント企業、エンタープライズ、スタートアップ企業、政府機関のいずれを問わず、視聴者にプロフェッショナル品質のメディア環境を簡単に提供できます。従来のデータセンターで時間、労力、費用を費やして特殊なビデオ機器を運用する必要はありません。これらのオンデマンドで伸縮自在なサービスにより、イノベーションを加速させ、動画テクノロジーのさまざまな変化に迅速に対応できます。けサードパーティアプリケーションとの統合により、ライブ動画およびオンデマンド動画コンテンツの処理と配信のためのツール一式が提供されます。Servicesは全部で5個のサービスから構成されます。それぞれのサービスの紹介は是非、上記リンクをクリックしてご確認ください。セミナーではまず、私の方からAWSのロードマップに見るCloudFrontの重要性や、分散型と集中型におけるアーキテクチャの違い、AWSメディアワークロードの事例についてお話をさせていただきました。紹介セッションを同時通訳でお届けしました。AMSデモンストレーション」としてLive配信を20分で構築可能なデモを行いました。5.7互換版が皆様にご利用頂けるようになりました。5.7より最大5倍高速です。5.7よりも20倍以上の書き込みパフォーマンスと10倍以上の読み込みパフォーマンスとなっています。この機能がどのように実装されているかについては、AWSデータベースブログをご覧ください。Auroraのドキュメントもご参照下さい。(Mumbai))全てでご利用頂けます。Auroraの製品ページをご覧ください。MySQL5.7互換に関する詳細な情報はドキュメントやフォーラムアナウンスをご覧ください。Architectです。HANAクイックスタートを使われているかもしれません。HANAシステムとして1つ、あるいは複数のSAPアプリケーションをプロビジョニング、インストールしたいとき、これらと同様なシナリオを必要としていないでしょうか。インスタンスをプロビジョニングして、SAPシステムをインストールするカスタムスクリプトを開発する必要がありました。NetWeaverクイックスタートにより、これらの面倒な仕組みづくりや手作業を排除できます。お客様に必要なすべてのこれらのタスクが実行されるので、お客様は他のビジネスクリティカルな活動に集中することができます。アプリケーションを開発・実行するための一連のテクノロジーを提供する基盤コンポーネントです。NetWeaverに依存しています。CloudFormationテンプレートを使用して、リファレンスの展開を自動化します。HANAデータベース用のABAPベースのアプリケーション開発をサポートします。HANAクイックスタートと統合されており、引き続き個別に展開することもできます。HANAシステムと接続して統合します。HANA上で実行されます。NetWeaverクイックスタートが展開するアーキテクチャの概要です。HANAデータベース層、リモートデスクトッププロトコル(RDP)、および踏み台ホストを展開します。この展開には、SAPシステムの機能を提供するプライマリアプリケーションサーバ(PAS)インスタンスと、SAPアプリケーション層をスケールアウトするためのオプションであるアディショナルアプリケーションサーバ(AAS)インスタンスを含みます。CloudFormationテンプレートとスクリプトをダウンロードし、お客様の固有要件に合わせてカスタマイズすることができます。Moreオンデマンドウェビナー「見積もり作成ハンズオン」を公開しました。Shareこんにちわ。エバンジェリストの亀田です。日々セミナーなどで皆さんにいろいろなコンテンツをお届けしていますが、その中でとても多くの再演要望をいただいているセミナーがあります。今回その「見積もり作成のハンズオン」をオンデマンドウェビナーとしてご提供することができるようになりました。お申込みをいただければ、いつでも皆さんが必要な時に視聴できるようになっています。こちらからお申込みください。全部で3部構成となっています。主要サービスの費用について基本的な考え方をまとめています。概算費用算出における検討事項のポイントやお支払方法についてまとめています。考え方が異なる部分が多くあります。見積もり作成において、そのあたりの注意点が含まれています。日本円支払い、請求書支払いについてもまとめました。実際の練習問題をもとに簡易見積もりツールを用いて、皆さんに見積もりを作成いただくハンズオン形式になっています。提供するクラウドサービスは、従量課金で費用想定が複雑だと思われるかたもいらっしゃるかもしれません。実際は、非常に簡易に概算費用の予測が可能となっています。複雑な構成での概算費用が必要な方は、担当アカウントマネージャにお問い合わせいただくか、こちらのお問い合わせフォームまでお問い合わせください。オンデマンドウェビナーを合わせてご視聴ください。機会均等法を順守しています。平等に採用しています。