MySQLからRedshiftへLoadするタスクを作ってみた。byClassmethod検索AWSAlexaモバイルビッグデータサーバーレスTableauAlteryxイベントMySQLからRedshiftへLoadするタスクを作ってみた。梶原裕(95)0この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。はじめに好物はインフラとフロントエンドのかじわらゆたかです。2016』23日目の内容となります。今回と明日で実際にMySQLのデータソースをRedshiftに取り込むタスクを作っていきたいと思います。基本MySQL等のデータソースからRedshiftにデータを取り込む際はS3に取り込み対象のCSV/TSVを配置し、S3に配置したファイルをRedshiftのCopyコマンドで取り込むといった流れが一般的です。その為タスクとしてはMySQLからS3への配置・S3からRedshiftの取り込みといった種類のタスクを作成し、requireで繋いでいくと言ったことになりそうです。今回はその中のMySQL抽出を行いS3への配置を行いたいと思います。MySQLの抽出結果をS3に配置する今までやってきたLuigiの特集でMySQLの抽出・S3の配置は各々やっていたので、それらをつなぎ合わせていくことになります。その中で設定ファイルについても作成していき、同一のタスクが異なる環境でも動くようにしていきたいと思います。参考エントリしては以下になります。Developers.IOコードの全容としては以下になります。luigi.run()今回の作例で新しく使ったluigiの機能としては、23行目に出てくるluigi.ExternalTaskがあります。何者かというと当該のソースコードに下のような記載があります。Luigi.Google翻訳をかけてみました。外部依存関係への参照のためのサブクラス。run実装がありません。outputがLuigiの外部で生成されるというフレームワークです。要はrunメソッドの無いtaskの実装ということになるようです。今回のケースようにファイルを外部参照させたりする時に用いたりすることができそうです。指定したSQLで抽出した結果のTSVファイルがS3に配されることになります。実行結果は以下のようになります。titles.tsv.gzまとめ明日はこのタスクの後処理として、S3からRedshiftへの取り込みを実施し、ETL処理として完成させます。954,182インフラとフロントエンドが好物です。梶原裕1MySQLからRedshiftへLoadするタスクを作ってみた。リモート参加もOK〜クラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。〜ITエンジニアのお仕事とホンネ〜1月30日に新卒向けの会社説明会〜ITエンジニアのお仕事とホンネ〜を開催します。クラスメソッドの関連会社であるアノテーション株式会社の研修として依頼を受け、チームと心理的安全性、それに礼節というテーマで話をしてきました。濱田孝治268「ふわわぁ、眠いな。藤井元貴90Gitリポジトリ内を検索する機会はよくあると思います。grepコマンドを使えば、git管理下のファイルのみを対象としてgrepができます。シンプルなコマンドですが、利便性はとても高いと思います。記事2020年01月20日かずえ81速報です。先程大阪リージョン開設予定がアナウンスされました!!以前から大阪ローカルリージョンという色々と制限がついた特殊なリージョンが存在していましたが、それが拡張され、東京リージョンなどと同じ通常のリージョンになります!2021年初頭開設予定です。武田隆志1143このエントリは、2018年、2019年に公開したAWS全サービスまとめの2020年版です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。クラスメソッドの関連会社であるアノテーション株式会社の研修として依頼を受け、チームと心理的安全性、それに礼節というテーマで話をしてきました。CAFEのサービスが「LINEアプリ」として利用できるようになりました。これまではLINEのトークから利用する形でしたが、LINEサービス内から利用できるようになりました。これまでより便利に、シームレスにご利用いただけます。Cafe326件のシェア(そこそこ話題の記事)インフラ未経験の私が内定から入社までに読んだ技術書11冊ブログ記事2020年01月16日Yui326インフラ未経験で入社した私がインフラを勉強するために読んだ技術書11冊を感想とともにまとめました。濱田孝治268「ふわわぁ、眠いな。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。