Dataが開発したオープンソースのワークフローエンジンです。cronと似ていて、定期的な実行タイミングを設定し、Pythonやshellや実行したり、embulkというデータ転送エンジンを起動したりできます。cronと同様に定期実行ができるそれぞれのタスクをどのような順番で処理するかルールを定義できる並列を処理を行ったり、エラー時の分岐・再実行なども定義可能GUIからエラーログの確認、再実行が可能Python、shell、TreasureData・postgresへのクエリなどを実行可能またdigdagから実行可能なものをオペレータとよび以下にまとまっています。Startedに従います。以下のコマンドを実行します。~/.bashrcbashrcを実行します。~/.bashrcこれでdigdagコマンドが実行できたら、インストールは完了です。サーバモードで起動する任意の場所で問題ないかと思いますが、/usr/localの下にdigdag-serverというディレクトリを作成しました。pwd/usr/local/digdag-serverそしてディレクトリを好きな名前で作成します。これはプロジェクトと呼ばれ、この後作成するdigdagのワークフローをカテゴライズする役割があります。python-testという名前で作成しました。pwd/usr/local/digdag-server/python-testそしてpython.digというファイルを作成します。中身は以下のように書きました。bin.tasks.python_test+step1はタスクの名前で、任意につけることができます。そのあとのpy>はオペレータと呼ばれ、pythonのコードを実行することを明示しています。pythonのコードを実行するためにはpythonファイルの関数か、クラスのメソッドを指定する必要があります。そのときの書き方は<ディレクトリ1>.<ディレクトリ2>...<ディレクトリn><ファイル名><関数名>もしくは<ディレクトリ1>.<ディレクトリ2>...<ディレクトリn><ファイル名><クラス名><メソッド名>となります。詳しくは公式のドキュメントにて。pythonのファイルは以下のように内容です。digdagはdigdagで実行するときのお約束のようなものです。このライブラリを用いて、digdagの環境変数を読み取ったり、書き込んだりすることも可能です。ディレクトリの構成は以下のようになっています。実行結果は以下のようになります。tasks.下から4行目の箇所でpythonのprint文が成功しています。おわりにこの記事は入門記事です。serverを立ち上げる方法を取り上げたいと思います。【追記】dockerによる、digdag_python環境の管理について書きました。digdagで実行するPythonをDocker環境でバージョン管理する前回の記事がこちらなので、ぜひ合わせてご覧ください。MEhirayuki今年で社会人3年目になります。日々体当たりで仕事を覚えています。テーマはIT・教育です。技術に親しんでもらえるよう、noteで4コマ漫画も書いています。HOMEIT業務効率化ワークフローエンジンdigdagをmacにインストールするhirayuki今年で社会人3年目になります。日々体当たりで仕事を覚えています。テーマはIT・教育です。技術に親しんでもらえるよう、noteで4コマ漫画も書いています。寿司データアナリストのブログ。