AuroraにS3からの直接データロード機能が追加。AuroraにS3からの直接データロード機能が追加。AuroraRDS2016年10月19日せーの(269)29この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。こんにちは、せーのです。今日はAuroraの新機能であるデータロード機能をご紹介したいと思います。SQLを書かなくても直接データをテーブルに入れることが出来るようになりました。XMLコマンドが直接S3と結びついたわけですね。S3にはイベントドリブン機能もありますのでうまく組み合わせればS3にアップロードしたデータが自動的にAuroraに格納されていく、というソリューションが可能になりそうですね。できること今回のS3からのアップロードは通常のテキストファイルとXMLファイルがアップ可能です。テキストはプレフィックスが指定できるのでCSV形式のファイルなどがAuroraにLOADできます。圧縮ファイルには対応していません。行数も指定できるので1行目は見出し行なので無視する、というような書き方も可能です。name='column2'>value2</field></row>の形式が可能です。軽い計算や予約語にも対応しているので「column2に入れるのは1つめの値を1/100したもの、column3には現在日時を入れる」、というような指定もできます。注意事項AuroraのあるサブネットからS3にアクセスできるようにルートを整えることS3から直接AuroraにデータをアップロードするにはAuroraの所属しているサブネットからS3にアクセス出来る必要があるようです。Endpointを立ててVPC内からS3へアクセスできるようにしておくかのどちらかの処理が必要になりますのでご注意下さい。ListBucket)できる権限が必要です。Roleを関連付ける必要があります。Roleとの関連付けを行い、更にS3への操作に対してどのIAM権限を使うか、というのをパラメータグループを使って紐付けます。RDSのクラスタ画面より「IAMロールの管理」をクリックします。Roleを指定します。これで関連付けはOKです。Roleを指定すればOKです。やってみた構築それではやってみましょう。同じVPCに操作用のEC2とAuroraを立てます。次にS3のバケットを作成しておきます。テスト用にXMLファイルをひとつ置いておきます。AccessibleをNoにしているので、VPCエンドポイントを作成してS3からのアクセスを確保します。Roleを作成して作ったAuroraに紐付けます。これで準備はOKです。テストでは流してみます。installで入れた後、mysqlにログインします。statement.mysql>columnが2つあるテーブルを作成します。sec)mysql>S3からデータをロードします。0mysql>データを確認します。sec)はいってますね。まとめいかがでしたでしょうか。S3とDBが直結できるようになると手間が色々はぶけて非常に便利になりますね。皆様も是非使ってみて下さい。2,691,579せーのと申します。北海道にて犬2匹とともにのんびりコードを書いたりしています。最近は触れるデバイスをネットにつなげて遊ぶのにはまっています。〜ITエンジニアのお仕事とホンネ〜2月19日に新卒向けの会社説明会〜ITエンジニアのお仕事とホンネ〜を開催します。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。#cmdevio新型コロナウイルスの感染拡大を受け、本イベントを延期させていただくことになりました(開催時期未定)。お申し込みいただいた皆様には大変申し訳ございませんが、何卒ご理解いただけますようよろしくお願いいたします。AWSについてライトに色んな情報交換をしましょう。カフェ店長のオカノです。使いたいときの注意点を書きました。EC2)環境において、不要な踏み台サーバをなくすことができる便利なアップデートです。環境をDockerで構築してみました。臼田佳祐294ワークフロー自動化OSSのn8nをAWS環境で建てて検証してみました。非常に期待できるサービスです。Fargateの勉強をしています。使ってみたい方は参考にしてください。洋介252SnowflakeがAWSの東京リージョン上で稼働するようになりました。データを日本に置けます。芳賀健229こんにちは!猫様の忠実なるしもべ、芳賀健です。Tokyoで開催されました。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。