EMR」資料およびQA公開こんにちは、テクニカルトレーナーの鬼形です。Japan頂いたご質問の回答についても併せてご覧ください。HDFSとEMRFSのパフォーマンスには差がありますか?ノード数等によりどちらが性能が出るかなどの情報はありますでしょうか。HDFSは、インスタンスストアかEBSを利用してボリュームを作成することになります。EMRFSはS3のバケットになります。データのローカリティの観点から、頻繁にアクセスするデータは、クラスタ起動後にHDFSに配置し、クラスタ終了前に永続化のためにEMRFSにコピーなどすることをお勧めします。スケーラビリティの点では、EMRFSはS3ですので、ほぼ制限なくデータを超大量に保存していただくことができます。HDFSはEC2インスタンスタイプやEBSボリュームの容量に制限されますので、それらに依存します。EMRと分散SQLを組み合わせて、Aurora配下にある複数のReplicaのDBどうしをイイ感じに跨いで結合したりとか簡単にできたりしますか?Prestoを利用するという方法が考えられます。AuroraはMySQL5.6と互換性がありますので、PrestoのMySQLコネクターを利用することができるかもしれません。それがかなわない場合は、Prestoのコネクターはpluggableなので、ご自身でコネクターを実装するという手段もあります。Spotインスタンスを利用中にインスタンスがターミネートされた場合はどのような動作になりますか?対象のインスタンスがどのインスタンスグループに属しているかよって影響が異なります。マスターインスタンスグループのノードの場合、インスタンスのターミネートにより、クラスタがダウンします。コアインスタンスグループの場合、実行中のTaskは失敗し(Jobではありません)、他のノードで自動的に再実行されます。HDFSのDatanodeがダウンすることにもなりますので、HDFSのデータの復旧プロセス(レプリケーションの充足)が残りのノード間で自動的に開始されます。タスクインスタンスグループの場合、実行中のTaskは失敗し、他のノードで自動的に再実行されます。EMRにおけるSpotインスタンスの使用につきましては、以下のドキュメントも併せてご覧ください。色々なソフトウェアが使えるのがわかりましたが、例えばHiveとSparkでの使い分けというのはどのような部分になるのでしょうか?Hiveも実行エンジンにTezを選んだ場合には、ワークロードにより、MRに比べ非常に高速に処理できるようになりました。SQLとの一般的な処理速度面での比較は難しいと考えます。他の面、例えばHiveならMetastore(メタデータ)をクラスター外に持つことができ、SparkやPrestoなどとメタ情報をシェアすることができます。APIの、強い静的な型や実行時の型安全性、それから、高機能なAPIを活用することで、任意のプログラムからJDBC経由でクエリを実行するなどした際には、構造化データをより簡単に扱うことができ、開発効率を高め、実装を簡潔にできるので魅力的です。ワークロードによって組み合わせて利用する、スキルセットによってどちらかを選択する、というのが現実的かと思います。IoT」資料およびQA公開こんにちは、テクニカルトレーナーの鬼形です。Japanこちらで動画もご覧になれます。頂いたご質問の回答についても併せてご覧ください。デバイス証明書のパターン2は、どのようなメリットがあるのでしょうか?パターン1の1クリックで生成されるデバイス証明書は有効期限が無期限になっています。有効期限を指定したい場合はパターン2のCSRに有効期限を指定することで設定することが可能です。IoTと接続することが可能で、液晶ディスプレイ自身か制御端末がプログラムで電源を制御できるのであれば可能です。複雑なデバイス属性情報を管理したいときは、どういう方法がありますか?Thingタイプを利用すると50個までの属性を管理することができますが、さらに複雑な属性を管理したい場合は例えばDynamoDBに情報を保存するなどの方法が可能です。Websocketを利用するときの認証情報は?WebSocketを利用する場合は、認証方式はIAMクレデンシャルを使うSIGV4の認証になります。メータリングユニットとは何でしょうか?計測機器のことです。一例として上げさせて頂きました。CLIを利用することで効率化が可能です。イベントを利用してデバイスのConnect/Disconnectを取得することができます。AWSIoT到達後、各種DBへ転送した際、転送時間にタイムラグなどはあるのでしょうか。IoT到達後から各種DBへ転送の間にタイムラグが発生する可能性はあります。正確なデータの生成時間が必要であれば、デバイス側で生成時刻を取得してトピックのメッセージに保存するなどの工夫が必要です。QAは以上となります。多くの方のご参加をお待ちしております。オンラインセミナーのご案内こんにちは。テクニカルトレーナーの鬼形です。オンラインセミナー11月の配信についてご案内させて頂きます。Gateway、BlackBeltでは久しぶりのHPCなど、今月もさまざまなトピックを予定しております。道入のコストやパフォーマンスが一大関心事となっています。大規模配信にも耐えられる最適化されたアーキテクチャとキャパシティ、及び優れたパフォーマンスと安定性を実現しています。無料のオプションやサービスをご利用いただくことで運用費用に対しても大きなコスト削減が可能となっています。対応状況についてご説明いたします。お申し込みは、それぞれ上記のリンクより行って頂けます。キャンセルの際も連絡不要ですので是非お早めにご登録ください。Directory構築」資料およびQA公開こんにちは、ソリューションアーキテクトの舟崎です。Japanまた、頂いたご質問の回答についても併せてご覧ください。Serviceの配下にできるEC2はLinuxも可能ですか?はい。ADに追加することができます。(SNS)を設定できます。ADは最大50,000ユーザー(ユーザー、グループ、およびコンピュータを含め約20,000ディレクトリオブジェクト)を想定されて設計されています。ADサービスの構成のおすすめはシングルフォレスト・シングルドメインとのことですが、「シングルドメイン」の場合はAWS側の制約(例:パスワードポリシ)にオンプレ側を合わせる必要があると思います。DSとの間でシングルドメイン構成をとる場合、パスワードポリシーなどはオンプレミスにあわせていただくことが可能です。ADを使用する場合は、フォレスト間の信頼関係を使用するためマルチフォレスト構成となります。Directoryを展開する場合、VPC内のDHCPサービスを利用します。DNSを参照することできるようになるため、DDNSなどの機能は問題なく利用できます。FSMOはオンプレにあるべきでしょうか?新規ADをAWS上(仮想上)にだけ配置することで問題点はないでしょうか?操作マスタ(FSMO)はオンプレミスにあってもAWSにあっても問題ありません。専用線接続が利用可能です。ADがホストするDNSを参照するようにすれば、AWS上のドメインに参加することは可能です。認証のトラフィックやネットワーク切断時の影響などを考慮するとオンプレミスにもドメインコントローラーを配置することを推奨します。ADではドメインコントローラーの追加はサポートされないため、その場合はEC2上での構築が前提となります。DirectoryからIAMフェデレーションでマネージメントコンソールにログインした場合、IAMポリシーによって操作可能な機能を制限することが可能です。QAは以上となります。多くの方のご参加をお待ちしております。Resiliencyに関するホワイトペーパーのアップデートAWSは、インターネットからの攻撃に対して、高い可用性とセキュリティ、弾力性を兼ね備えています。この取り組みの一環として、弾力性のあるアプリケーションを実現するために、AWSサービスに対するDDoS攻撃への対応や、ツール、ベストプラクティスを提供しています。Whitepaper」の2016年版をリリースしました。これは、DDoSを受ける可能性のあるパブリック接続されているエンドポイントに対して効果があります。このホワイトペーパーは下記の方に読んでもらいたいと考えています。DDoS対策の規範を探している方。DDoS攻撃に強いアプリケーションを構築するためのガイダンスが必要な方。Balancingを利用しており、DDoS攻撃において回復力のある最適化されたアーキテクチャになっているかを確認したい方。更新されたホワイトペーパーは、アプリケーションレイヤの攻撃や帯域をあふれさせるような攻撃といった、様々な攻撃手法について記載があり、また、それらの効果的な対策としてのベストプラクティスが記載されています。私たちは、あなたのアプリケーションを守るために、DDoSを緩和するための戦略において、サービスと機能がフィットするかについての説明を加えています。ホワイトペーパーの「ベスト・プラクティスの概要」という表は、ホワイトペーパーを規範的なガイダンスとして利用し、アーキテクチャの改善を行うきっかけを作るチェックリストとして使うことが可能です。Balancing」の資料およびQA公開こんばんは。Balancing」の資料が公開されました。Balancerのそれぞれについて解説した資料となっております。セミナー中にみなさまからお寄せ頂いたQ&Aの回答と併せて掲載させて頂きます。Connection)になると考えて下さい。場合はラウンドロビンとなります。ポリシーとして事前に定義したものを指します。側で自動で検出するのではなく、追加する側がポートを指定します。ワイルドカード(*、?)が利用可能です。SSLをターミネートする場合、ALBにサーバー証明書をアップロードします。異なるターゲットグループにルーティングしていたと思います。ターゲットグループの/にルーティングすることはできません。ターゲットグループのターゲットには同じパスがリクエストされます。個の新規接続となります。インスタンスの料金は、対象のAZの数に依存しません。利用状況に依存しますが、ほとんどのお客様でCLBからALBに切り替えることで、ロードバランサーのトータル費用は実質的に削減されると考えています。暖機申請は可能で、ALBのインスタンスがスケールした状態が維持されます。して説明させていただいた部分は原則共通部分となります。1時間あたりの平均を利用してLCUが算出されます。一例ですが、セッションを識別するIDはCookieなどに保持し、このIDをもとに外部のDBサーバやキャッシュサーバからセッション情報を取得する方式が考えられます。