byClassmethod検索AWSAlexaモバイルビッグデータサーバーレスTableauAlteryxイベントDigdag+Embulkで発生したエラーと対策Digdag2016年12月20日takahara(108)6この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。はじめにEC2にDigdagとEmbulkをインストールした環境にMacからssh接続して実行していると複数のエラーが発生しました。それらの対応策を備忘録として書いていきます。0.8.13目的S3に配置してあるGZIP圧縮されたTSVファイル(ヘッダー無し)をRedshiftにロードする。DigdagとEmbulkの実行はEC2インスタンス上。実行時の状態Digdag実行ファイルDigdagで実行する処理内容をYAMLで記述しています。guessで「guess-redshift-output.yml」を読込み、追記修正したものを「config-redshift-output.yml」に上書き保存し、Embulkで読込んでいます。guess-redshift-output.ymlこちらもYAMLでS3とRedshiftの接続情報を記述。実行結果Redshiftにロードが完了すれば下記のログが最後に表示されます。tasks.失敗した場合はこんな表示です。tasks.発生した問題データソースにより、現状の設定では複数のエラーや想定外の結果となったケースが発生したので、問題別の対策を行いました。documentationOutOfMemoryErrorエラーログ。space発生しても一応処理は進みましたが、問題なのでヒープサイズの最大値を設定しました。1024の倍数で設定しますが、オペレーター(sh>:などの事)がembulkだとオプションが実行できない様なので、sh>:に変更しました。件数は下記で確認しました。テーブル名;対策データソースにカラム名のヘッダーを追記しました。方法としては、ヘッダーのみのファイルを作成し、データソースと結合します。ファイルサイズが大きいと、エディターで記述しようと開いたり保存するだけでも時間がかかるのでコマンドを使うのが効率的かと思いました。注意点として、ヘッダーファイルは最後に改行しておきます。しないとヘッダーを記述した1行目のお尻にデータソースが結合されてしまいます。1行目はヘッダーとして扱うので、プレフィックスで複数のデータソースを読み込む場合は全てにヘッダーを結合しておきます。結合したファイル名YAMLの作成ミスデータソースによってはカラムの型の設定が誤認識されることが有りました。誤認識の内容は、圧縮形式、ヘッダー有無、カラムの型設定でした。対応カラムの方はとりあえずstringにして事なきを得ました。line」と出て来る場合は、表示された行が型に適応していないので、適切な型を設定しなおします。...また、Digdagの実行ファイルもguessから実行しない様に修正する必要があります。--rerunさいごに今後も問題が発生すれば記事にしていこうと思います。〜ログ収集、監視、分析を触って体感しよう!〜」を開催しますお申し込み受付は終了しました。ありがとうございました。今後セミナーのお知らせを受け取りたい方は、こちらからご登録をお願いします。CAFEのサービスが「LINEアプリ」として利用できるようになりました。これまではLINEのトークから利用する形でしたが、LINEサービス内から利用できるようになりました。これまでより便利に、シームレスにご利用いただけます。Cafe300件のシェア(そこそこ話題の記事)インフラ未経験の私が内定から入社までに読んだ技術書11冊ブログ記事2020年01月16日Yui300インフラ未経験で入社した私がインフラを勉強するために読んだ技術書11冊を感想とともにまとめました。平野重利123Pythonで、標準入力を変換して標準出力に出すCLIプログラムのテンプレートをご紹介します。菊池修治47こんにちは、菊池です。勉強会#1に登壇しました。サーバのみならずネットワーク機器の仮想化も年々進んでいます。スペックに縛られないこととか、展開のしやすさとか初期考慮点が少なくなるのは嬉しいです。武田隆志1098このエントリは、2018年、2019年に公開したAWS全サービスまとめの2020年版です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。CAFEのサービスが「LINEアプリ」として利用できるようになりました。これまではLINEのトークから利用する形でしたが、LINEサービス内から利用できるようになりました。これまでより便利に、シームレスにご利用いただけます。Cafe300件のシェア(そこそこ話題の記事)インフラ未経験の私が内定から入社までに読んだ技術書11冊ブログ記事2020年01月16日Yui300インフラ未経験で入社した私がインフラを勉強するために読んだ技術書11冊を感想とともにまとめました。悠紀235ShifterはWordPress環境をサーバーレスで立ち上げ、静的なサイトを生成することができるサービスです。FAQサイトをサクッと作ってみました。Takumi227こんにちは。DA事業本部の春田です。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。