StorageAWS特集S32019年12月25日しんや(674)32最近では『マルチクラウド』環境で仕事を回すというのも珍しい話では無くなって来ました。クラウドプラットフォーム間を連携するというのも普通に挙がってくるテーマかと思います。そんな『マルチクラウド』の環境間で『データの移動』という部分について考えてみた場合、ざっと見てみた感じだと『AWS』から『GCP』については比較的情報量が多いなという印象を受けました。GCPが公式で『AWS向け』のドキュメントを展開しているというのも大いに関係しているかと思います。一方で、『GCP』から『AWS』という逆のパターンだとどうでしょう。AWSが個別に『GCP向け』の情報を展開しているというのは現状無さそうです。その他情報源についてはどうでしょうか?感覚値的には『AWS→GCP』程は情報量的に多くないのでは、という感じがします。Services)』へのデータ移動方法、ケースにはどのようなものが存在しているのか、またどういった『方法』を取ることが出来そうなのか、ざっと情報収集した上での内容をまとめて&整理してみたいと思います。ジョブ&独自JDBCドライバB-3.AlteryxB-4.FivetranまとめGCP→AWS間の『データ移動の最短パス』を考える言うてもGCPもAWSも、それぞれのジャンルで非常に多岐なサービスが用意されています。それらの組み合わせ、経路を全て洗い出し網羅するというのはまず現実的ではありません。いうかそれは心が折れるwなので、まずは『シンプルに、手っ取り早く、少ない手数・経路で』実現出来る経路は何か?というところで見ていくことにしました。Storageにエクスポート、そのデータをS3に移し、S3のデータを何らかの方法でインポート』になるかと思います。下記はBigQueryのデータをRedshiftに移動させるまでの流れです。後述する説明でこのラインをなぞる事でデータ移動が実現出来る、という目論見です。参考までに、下記に『GCPのデータベース・データウェアハウス系のデータエクスポート方法』のドキュメントを一覧としてまとめておきます。全てのサービスで、(AWSでのデータ)インポートに適した形式でアウトプット出来るまでとは言いませんが、1つの指針となるかなとは思います。当エントリでは『BigQueryはひとまず行けそうだ』という事で先に進みます。S3』を何らかの方法で経由させる形の方法について。目ぼしいものについて雑多に挙げてみます。SDK(gsutil)このエントリを書くにあたり、まずは一番シンプルに要求を実現出来るのでは...と思ったのがこちらの方法。GCPで提供されているコマンドラインツールとAWSで提供されているコマンドラインツールを使い、ストレージサービス間をデータ移動させる、というものです。CLIをインストール。CLIを使ってS3にデータをアップロード...という流れをイメージしました。S3へのデータ移動が出来るようです。gsutilの設定項目にAWSのアクセスキー設定も存在しています。s3://(複製先のS3バケット及びファイルパス)という記法で複製が実現出来るようです。CloudA-2.rcloneオープンソースツールで調べてみると、『rclone』というツールが見つかりました。このツールはファイルとディレクトリを同期するコマンドラインプログラムで、GCSやS3以外にも実に様々な接続先に対応しています。storage多種多様な接続先の連携がこれ1つで済む、というのはとても便利ですね。GCSやS3以外にも連携先がある、という場合には候補の上位に挙げても良さそうな気がします。A-3.embulkプラグインさまざまなストレージ、データベース、NoSQL、クラウドサービス間のデータ転送を支援する並列バルクデータローダー、『Embulk』でデータ移動を行うという方法も考えられます。inputのプラグインでGCS、outputのプラグインでS3を設定、連携させれば実現可能です。Service』という"ストレージ転送ジョブ"サービスが用意されており、このサービスを使うことでGCS→S3へのデータ転送を行うことが出来ます。ドキュメントはこちら。どちらを使用するか』という見出しでこのトピックについて言及しています。局面に応じてgsutilとストレージ転送ジョブサービスを使い分けて行きたいですね。Uploader』は、お客様の基幹システムにあるデータを加工し、AWSのデータ分析環境へアップロードする一連の作業を簡単・スムーズに実行できるようサポートします。Storage』をサポートするようになりました。Storage』にも繋げられるようになり、手軽に接続及びS3までのデータアップロードを行えるようになります。S3を必ずしも介さないもの』について見ていきたいと思います。こちらは内容によってはGCSもS3も使わなかったり、またGCS経由で無かったりするだけというのもあるようです。2019』開催前の2019年11月に発表されたこちらの新機能、今回のテーマにドンピシャでハマる内容となっています。(※今回のエントリを書くにあたっての切っ掛けにもなりました)Athenaのこの機能を使い、任意のデータソースに対して直接クエリしに行く設定をしてしまえばダイレクトにデータを引っ張ってくることが出来る...という代物。データをこちらに持って来てしまえばあとはもうこっちのものです。現時点ではまだプレビュー状態となっているこの機能。有効活用する事でデータ移動も大いに捗りそうです。ちなみに同時期に発表されたRedshiftの『フェデレーテッドクエリ』にはそういう機能は無さそうです。Glueから一気にデータを持ってくる事が可能になります。B-3.Alteryxデータを何らか加工する必要がある場合、また分析などを踏まえた結果を(再)投入させたいというケースであれば、途中にAlteryxを挟むというのも一考でしょう。BigQuery対応ツールも予め用意されています。このツールで接続先のBigQueryに繋ぎ、データを引っ張ってくればあとは如何様にも調理可能です。Toolまた、Alteryxについては弊社ブログでも非常に多くの記事を投稿・公開しています。合わせてご参考頂けますと幸いです。B-4.Fivetran最近弊社でもワードを目にすることが多くなってきたサービスの中で気になっているのがこちらのFiveran。『接続先』としても、データウェアハウスやデータベースに各種対応しているようなので問題も無さそう。Developers.IOでも、数は多く無いですが何件か言及しているブログもあります。Services)』へのデータ移動について、個人的に整理してまとめてみた内容のご紹介でした。手段や方法について『他にもこういうのがあるよ!』と思われた方もいらっしゃるかと思います。その際は是非、何らかの形でアウトプットして頂き、コメントやSNS等で教えて頂けますと幸いです。6,748,245まとめ職人→出張ブロガー(初代)→AWSエンジニア→ビッグデータ系エンジニアDevelopers.IO全投稿のうち1,000本を書いています。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。#cmdevio新型コロナウイルスの感染拡大を受け、本イベントを延期させていただくことになりました(開催時期未定)。お申し込みいただいた皆様には大変申し訳ございませんが、何卒ご理解いただけますようよろしくお願いいたします。AWSについてライトに色んな情報交換をしましょう。カフェ店長のオカノです。使いたいときの注意点を書きました。本が出ていたので読んでみたところよかったので紹介させていただきます。EC2)環境において、不要な踏み台サーバをなくすことができる便利なアップデートです。臼田佳祐295ワークフロー自動化OSSのn8nをAWS環境で建てて検証してみました。非常に期待できるサービスです。Fargateの勉強をしています。使ってみたい方は参考にしてください。洋介252SnowflakeがAWSの東京リージョン上で稼働するようになりました。データを日本に置けます。芳賀健232こんにちは!猫様の忠実なるしもべ、芳賀健です。Tokyoで開催されました。カフェ店長のオカノです。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。