石川覚(126)21この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。テーブルを登録する機能があり、これをクローラ(Crawler)として定義します。ガイド付きチュートリアルの中で、カラム名ありパーティション化されたS3オブジェクトをクロールする例をご紹介しています。今回は、Redshiftに対してクロールする方法をご紹介します。Connectionを作成します。Connectionとは、データソースとなるRedshiftへの接続情報です。GlueはConnectionを利用して、データソースであるRedshiftに接続して、テーブルの定義情報をクロールします。Connectionの作成クラスタを指定する方法は2つあります。URLとVPCを選択する方法です。何れもAWSアカウントかつリージョン内のVPCを指定することになりますので、前者の方法で接続を定義します。Redshiftを選択します。Redshiftクラスタの一覧が表示されます。定義したいクラスタが表示されない場合は、リージョンやVPCのセキュリ−ティーグループに誤りがないか確認してください。steps接続内容の確認です。Connectionの作成は接続先のDB設定の他に、VPCやセキュリティグループも重要です。ConnectionConnectionを作成すると一覧に追加されます。追加したConnectionがあ正しく接続できるか確認することをおすすめします。ROLEを選択して実行してください。moments.」と表示される通り、本当に接続確認だけで数分かかります。URLとVPCを選択する方法で設定した内容に変換されます。URLが表示されます。Identifer)で定義されているわけではないということに注意してください。クローラを作成するでは、作成したConnectionを利用して、データソースであるRedshiftに接続して、テーブルの定義情報をクロールします。info今回は、ssbgzスキーマのcustomerテーブルに対してクロールします。StoreにJDBCを選択します。PathはMyDatabase/MySchema/MyTableと指定します。MyDatabase/MySchema/%と指定することで、スキーマの全てをテーブルを対象とする事ができます。まとめてクロールしたいときにはとても便利な指定です。ROLEを選択して実行してください。Outputクロールした結果、テーブルを作成する先を指定します。Catalogのdefaultデータベースに出力します。steps設定内容を確認します。now作成したクローラが追加されています。now?リンクをクリックすると直ちにクロール開始です。クロールが無事に終了しました。Redshiftでは以下のクエリが実行されていることが確認できました。typeがHiveのデータ型に変換されています。このテーブル定義はS3のパスはcmawsteamdb.ssbgz.customerと定義されており、このテーブルに対してAthenaからクエリーを実行できません。クエリーできないテーブルは一体何か?xxxx_ssbgz_customerというテーブルは、Redshiftのデータ入出力の定義情報でありテーブルではありません。Jobの入力や出力にこのテーブル名を指定することができます。Jobの入力にxxxx_ssbgz_customerというテーブルを指定することでデーブルデータをデータソースとすることができるようになります。Jobを作成するのは、引き続き以下のブログにて紹介します。1,265,878電気メーカ系SIerのSE、IP電話開発会社の製品企画・開発を経てJoin。Linux、Java、MySQLを中心にウェブ、スマホ、基幹サーバーと何でも屋。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。#cmdevio新型コロナウイルスの感染拡大を受け、本イベントを延期させていただくことになりました(開催時期未定)。お申し込みいただいた皆様には大変申し訳ございませんが、何卒ご理解いただけますようよろしくお願いいたします。AWSについてライトに色んな情報交換をしましょう。CAFEの他、NTTデータとセブンイレブンの取り組みや、サインポスト、Zippinなどの各社と流通・小売業との連携を業界マップに作成してみました。濱田孝治70re:Invnetの動画検索でもめちゃくちゃ便利ですが、その他ブログやホワイトペーパーやGitHubも横断検索できるので、是非一度使ってみてください。PolicyのConditionにaws:CalledViaというキーが追加されました。いったキーなのかご説明します。夏目祐樹403こんにちは、CX事業本部の夏目です。MacのタッチバーのタッチIDが非常に便利なのですが、Terminalでsudoを叩かないと行けないときに使えたらなぁと思ったので、情報を共有します。臼田佳祐295ワークフロー自動化OSSのn8nをAWS環境で建てて検証してみました。非常に期待できるサービスです。Fargateの勉強をしています。使ってみたい方は参考にしてください。洋介256SnowflakeがAWSの東京リージョン上で稼働するようになりました。データを日本に置けます。芳賀健233こんにちは!猫様の忠実なるしもべ、芳賀健です。Tokyoで開催されました。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。