2018/05/04TweetPocket最近Digdagとembulkを勉強してまして、以前、イマイチDiddagについてまったく理解出来ませんでした。この2つは分析基盤(redashやらログ系)でよく使われており、しかも相性がめちゃくちゃいいとのことで簡単に分かりやすくまとめてみました。■Digdagって何よ?TreasureData社がOSSで公開しているツールで、依存関係のある複数のタスクを実行するワークフローエンジンです。「ジョブ管理→cron(バッチ)」と言えばイメージが湧くと思います。ワークフローエンジンと言えばJenkinsジジイ、Airflow、Luigiなどがありますが、Digdagはそれらと比べて3つのメリットがあります。Digdagの設定ファイルを見てみましょう。adachin-server_error_log.dig上記の例では「スケジューラー機能」と呼ばれるもので、アクセスログとエラーログを毎日3時にDigdagちゃんがタスクを実行してくれます。ちなみにDigdagのコマンドリファレンスは以下で実行ファイルも適当に作ってみました。embulk/config.yml.liquidで、embulkを組み合わせると!?■embulkって何よ?これまたTreasureData社がOSSで公開しているツールで、(古橋さん開発)ファイルやデータベースからデータ抽出を行い、別のストレージやデータベースにデータ転送するためのツールです。YAML!!設定ファイル見てみましょう。"STRING"}S3からアクセスログを抽出してBigQueryに飛ばす(同期)ようなことをしています。parserで各カラムにつけた型と合わせるだけです。この実行をDigdagでワークフローしてもらいます。embulk参考https://qiita.com/shiozaki/items/f79eecf8e1878aa64a40Digdagを使うと、embulkの複数起動を効率的に管理して、データ抽出やら転送がイージーになるわけですな。基本サーバのアクセスログはfluentdを使ってs3に飛ばしましょう。あとはredashがBigQueryの中見ればアクセスログなどの可視化ができる!!!ちなみにDigdagの管理画面ではjobがエラー吐いているのかなども可視化されているので分かりやすい!参考https://qiita.com/skryoooo/items/d5c2e092355bd02228c8■まとめ分析基盤ならDigdagとembulkで決まりですな。ROBOTICS/SRE。ホスティングから大規模なアドテクなどのインフラエンジニアとして携わる。現在はサービスの信頼性向上、DevOps、可用性、レイテンシ、パフォーマンス、モニタリング、オブザーバビリティ、緊急対応、AWS/Azureでのインフラ構築、Docker開発環境の提供、Kubernetes保守、インフラコード化、新技術の検証、リファクタリング、セキュリティ強化、エンジニア採用広報などを担当している。個人開発では「夫婦、パートナー向け家事管理サービス/famii」をCakePHPで開発中。副業では数社サーバー保守とベンチャー企業のインフラコンサルティングやMENTAで未経験者にインフラのコーチング/コミュニティの運用を実施している。「脆弱性スキャナVuls」のOSS活動もしており、自称エバンジェリスト/技術広報/テクニカルサポート/コントリビュータでもある。コメントデータの処理方法の詳細はこちらをご覧ください。limitについてDigdagパフォーマンス上がってエラー出る頻度が少なくなってた。