石川覚(126)23この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。はじめにDynamicframeは、フォーマットにCSVファイルを指定できますが、空白を含む文字列は自動的にダブルクォーテーションで括られてしまったり、デリミタ文字列はカンマのみとなります。今回はこの課題を解決するため、Dynamicframeを使わずDataframeを用いて自在にCSV/TSVファイル出力する方法をご紹介します。12:34:56"のように自動的にダブルクォーテーションで括られてしまいます。AthenaでTIMESTAMP型のデータとして自動認識できません。AthenaでTIMESTAMP型のデータとして認識できないCSVファイルフォーマットで出力されてしまいます。デリミタ文字列はカンマのみDynamicframeの出力オプションは、formatの指定できますが、formatにCSVを指定するとデリミタ文字列は、カンマのみとなります。タブ文字など任意の文字によって区切ることはできません。Dynamicframeを用いると、ソースデータのTSVファイルからTSVファイルのターゲットデータを生成できません。HH:mm:ss形式のTIMESTAMPの文字列を生成して出力したとします。compression="gzip")のようにDataframeを用いて出力します。","))と、データのGZIP圧縮を指定(compression="gzip")して出力します。12:34:56がダブルクォーテーションで括られず、そのまま出力できます。2016-04-30T12:34:56.000Z)で出力されます。"\t"))して出力します。それ以外はCSVファイル出力と同様です。compression="gzip")最後に公式のチュートリアルやドキュメントのサンプルは、CSVファイルをParquetファイル(カラムナファイルフォーマット)に変換する例がほとんどで、CSVからCSVやTSVからTSVに変換する例はありませんでした。そんなときは、Sparkが提供するDataframeでワークアラウンドがないか検討すると良いでしょう。Spark初心者が安易にDataframeでなんでも済ませようというのはお薦めしません。Glueが提供するDynamicFrameは、とても良くできたフレームワークであり、Sparkの知見がないエンジニアでも容易にETLコードを安全に書くことができますので、DynamicFrameでできることは出来る限り、DynamicFrameを利用することをお薦めします。将来的にはDataFrameを使わず、DynamicFrameのみでETLコードが書けるようになることを期待しています。1,265,878電気メーカ系SIerのSE、IP電話開発会社の製品企画・開発を経てJoin。Linux、Java、MySQLを中心にウェブ、スマホ、基幹サーバーと何でも屋。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。#cmdevio新型コロナウイルスの感染拡大を受け、本イベントを延期させていただくことになりました(開催時期未定)。お申し込みいただいた皆様には大変申し訳ございませんが、何卒ご理解いただけますようよろしくお願いいたします。AWSについてライトに色んな情報交換をしましょう。CAFEの他、NTTデータとセブンイレブンの取り組みや、サインポスト、Zippinなどの各社と流通・小売業との連携を業界マップに作成してみました。濱田孝治70re:Invnetの動画検索でもめちゃくちゃ便利ですが、その他ブログやホワイトペーパーやGitHubも横断検索できるので、是非一度使ってみてください。PolicyのConditionにaws:CalledViaというキーが追加されました。いったキーなのかご説明します。夏目祐樹403こんにちは、CX事業本部の夏目です。MacのタッチバーのタッチIDが非常に便利なのですが、Terminalでsudoを叩かないと行けないときに使えたらなぁと思ったので、情報を共有します。臼田佳祐295ワークフロー自動化OSSのn8nをAWS環境で建てて検証してみました。非常に期待できるサービスです。Fargateの勉強をしています。使ってみたい方は参考にしてください。洋介256SnowflakeがAWSの東京リージョン上で稼働するようになりました。データを日本に置けます。芳賀健233こんにちは!猫様の忠実なるしもべ、芳賀健です。Tokyoで開催されました。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。