2016AWS特集Glue2016年12月02日しんや(675)9292件のシェア(ちょっぴり話題の記事)この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。Glue』のリリースが発表されました!これまでの状況AWSのデータ分析における各種サービスはこれまでに数多くリリース・展開されて来ていましたが、一連の流れで見てみると幾つかピースが欠けている部分がありました。Glue』を適用する事で、その欠けたピースを全て埋める事が可能となります。Glueは、完全に管理されたETLサービスで、データストア間でデータを簡単に移動できます。Glueは、困難で時間のかかるデータの発見、変換、マッピング、およびジョブスケジューリングのタスクを簡素化し、自動化します。Glueは、使いやすいコンソールでデータを移動するプロセスをガイドし、データソースの理解、分析のためのデータの準備、データソースから宛先への信頼性の高いロードに役立ちます。Redshiftと統合し、JDBC準拠のデータストアに接続する事が出来ます。データソースを自動的にクロールし、データフォーマットを識別し、スキーマと変換を提案するため、データフローを手作業でコーディングする時間を費やす必要が無くなる形となります。Glueユーザーと共有することも可能です。Glueは、ETLジョブをスケジュールし、必要なすべてのインフラストラクチャーをプロビジョニングし、スケーリングして、ETLジョブをあらゆる規模ですばやく効率的に実行します。管理するサーバーはなく、ETLジョブによって消費されるリソースのみを支払うことになります。Glueで紹介されている主な機能は以下の3つ。Glueでデータ・ソースを登録する事が出来ます。Glueでは、JSON、CSV、Parquetなど、多くの一般的なソースフォーマットやデータタイプに対して、あらかじめ作成された分類子を使用してデータソースをクロールし、データカタログを構築する事が可能です。Glueコミュニティからclassifierを選択してクローリング対象として追加する事も可能です。GlueはPythonコードを生成してソースからデータを抽出し、データを変換し、ロードする、即ち『ETL処理』を実行します。自動生成されたコードでは、データにおけるバリデーションエラー等のケースを処理する事が可能です。コードはお気に入りのIDEを使って編集し、独自のサンプルデータでテストする事が可能です。Glueユーザーと共有しているコードを参照し、活用する事も可能です。Lambdaイベントに対応してフローを実行できます。Sparkノードに自動的に配布するため、データ量が増えるにつれてETLの実行時間を一定に保つ事が可能となります。以下の様な調整や柔軟な対応も可能となるようです。時間通りにジョブを完了させたり、コストを最小限に抑えるために必要なインフラストラクチャを柔軟に拡張これまでの各種サービスをまさに『糊(Glue)』のように繋いで実現される『AWS上でのモダンデータアーキテクチャ』を示した図が以下となります。これはとてもとても楽しみなサービスとなりそうです。Tuned.)となっているようです。下記サインアップフォームから最新の情報を入手する事が出来るようなので、当サービスに興味をお持ちの方はまずこちらで情報の登録を行っておいた方が良いかと思います。Upという訳で、個人的にはかなーり楽しみなサービスが登場する運びとなりました。新たな情報が得られ次第、当ブログで継続して情報を発信して行きたいと思います。こちらからは以上です。6,750,896まとめ職人→出張ブロガー(初代)→AWSエンジニア→ビッグデータ系エンジニアDevelopers.IO全投稿のうち1,000本を書いています。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。#cmdevio新型コロナウイルスの感染拡大を受け、本イベントを延期させていただくことになりました(開催時期未定)。お申し込みいただいた皆様には大変申し訳ございませんが、何卒ご理解いただけますようよろしくお願いいたします。AWSについてライトに色んな情報交換をしましょう。カフェ店長のオカノです。今日はオフィスに用があるので、通勤ラッシュを避けて出社しました。この子は新メンバーのさめくんです。在宅勤務が推奨されているのでオフィスが閑散としており、すこしさみしそうです。使いたいときの注意点を書きました。本が出ていたので読んでみたところよかったので紹介させていただきます。