石川覚(126)26この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。セッションのレポートとなります。何か、どんな素晴らしことができるようになるのかご理解いただけるはずです。lake.今日のデータレイクの設定と管理には、多くの複雑で時間のかかる作業が必要です。Formationは、数日でセキュアなデータレイクを簡単に設定できるようになる新しいサービスです。データを取り込み、カタログ化、クリーンアップ、変換、保護することができます。EMR、Redshift、Athena、Sagemaker、QuickSightなどの分析ツールをデータレイクのデータに簡単に組み合わせる方法を探ります。多様な分析ツールと機械学習ツールを提供するデータの移動がなくてもデータを処理できる低コストのストレージと分析用に設計されている様々な分析ワークロードや様々なスケールに対して、可能な限り低いコストで実行できます。Formation従来のデータレイク構築は、ストレージのセットアップや移動した後、クレンジングや準備したデータをデータカタログに登録します。セキュリティやコンプライアンスを設定して、利用者にデータを使えるようにしなければなりません。データのクレンジングや準備は作業全体の80%を占め、データレイクの構築は数カ月を要していました。S3はデータレイクのためのストレージ層を形成するデータを含む既存のS3バケットを登録するデータレイクの形成を問い、必要なS3バケットを作成し、データをインポートするデータはアカウントに保存されるので、直接的なアクセス権を持っています。簡単にデータレイクにデータをロードブループリントを用いることで、一度きりの移行も定期的なデータ連携も素早く導入できます。Glueをラップして、より簡潔なインタフェースを提供します。VLDB2008)では並列化可能な方法であるため劇的に速くなります。4億以上の行データと75億以上の候補ペアを3時間未満で処理できます。Formationが提供する一時クレデンシャルを用いてアクセスします。RedshiftやAthenaをはじめとする様々なデータアクセスサービス毎のアクセス設定は不要です。簡単な許可設定と権限削除でデータアクセスを制御するバケットやオブジェクトではなくテーブルとカラムにパーミッションを指定する特定のユーザーに付与されたポリシーを簡単に参照できるすべてのデータアクセスを一箇所で監査できるユーザーのセキュリティ設定1箇所でユーザー、ロール、グループに付与された検索と表示のアクセス許可ユーザーに付与されたアクセス許可を確認するユーザーのポリシーを簡単に取り消すことができるテーブル権限とカラムレベル権限ユーザーごとに参照できるカラムを制限することができます。Information)のアクセスをさせないなどに利用できます。利用者がクエリーをサービスに送ってから結果が帰るまでのフローは以下のとおりです。利用者は、IAMユーザーやIAMロールに加えて、ADのフェデレーションユーザにも対応しています。複数のユーザーにまたがって検索と統合より簡単にメタデータやデータセットを簡単に見つけられるようになります。Formationダッシュボードからデータセットに何が起こっているかを把握できます。ブループリントでデータを投入するインポートしたいデータソースを定義します。インポートが成功すると以下のように表示されます。インポートしたデータをテーブルとして参照できるようになりました。登録したテーブルやそのカラムのアクセス権限をユーザーに対して設定します。データをクエリする実際にユーザーでログインして、データをクエリできることを確認します。追加料金はいただきません。Formation配下で利用しているサービスの利用費のみです。Formationがユーザーの一時クレデンシャルの払い出しをしたり、メタデータの管理したり、監査やモニタリングまで本格的にセキュリティを考慮しているが驚きでした。新規のお客様のみならず、既存のRedshiftやAthenaの環境に適用することを考えると悩ましいのですが、うまく統合できると、あらゆるAWSのビッグデータソリューションやMLサービスとの連携が容易になりますので、夢が広がります。限定プレビューで利用可能です。利用したい方は以下のリンクから申請してください。1,262,540電気メーカ系SIerのSE、IP電話開発会社の製品企画・開発を経てJoin。Linux、Java、MySQLを中心にウェブ、スマホ、基幹サーバーと何でも屋。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。#cmdevio新型コロナウイルスの感染拡大を受け、本イベントを延期させていただくことになりました(開催時期未定)。お申し込みいただいた皆様には大変申し訳ございませんが、何卒ご理解いただけますようよろしくお願いいたします。AWSについてライトに色んな情報交換をしましょう。カフェ店長のオカノです。今日はオフィスに用があるので、通勤ラッシュを避けて出社しました。この子は新メンバーのさめくんです。在宅勤務が推奨されているのでオフィスが閑散としており、すこしさみしそうです。使いたいときの注意点を書きました。本が出ていたので読んでみたところよかったので紹介させていただきます。