関する取り組みをご紹介するブログです。よるコンテナネイティブなデータパイプラインのワークフロー管理データプラットフォームグループの野本です。機械学習基盤の構築やそれにまつわるアプリケーションの開発をしています。上で動作するワークフローエンジンを導入し使いはじめまてみました。試している段階でもあるのですが現状でどんな感じで使っているのか紹介してみようと思います。ような形で機械学習システムの構築を進めています。後者の具体例のように各アプリケーションを疎結合にうまく動かせるように出来るのが理想です。これらを踏まえ以下のような点を重視してワークフローエンジンを検討しました。いうプロダクトと遭遇しました。上で動作するコンテナネイティブなワークフローエンジンです。ファイルなどでワークフローの定義を管理出来るようになっています。今求めているようなワークフローエンジンであり、より手軽にコンテナベースのワークフローを構築出来そうだと判断し導入を進めることとしました。本格的に利用しています導入してみた現在は主に機械学習アプリケーションのワークフローとして利用しています。一例として以下のようなケースで利用しています。マウントすることにより各タスク間のデータの受け渡しを行っています。単独で定期実行などのイベントによるトリガーが実装されていません。実行することにより定期実行を行っています。どのように運用しているか実際にどう設定してどのように動かしているのか、簡単なサンプルをベースに説明してみます。以下のようなフローを構築してみます。生成した数値の個数分並列に実行させてみます。設定ファイルは以下のようになります。バックアップなどの処理がありますが、ワークフローとしては先程上げた導入例とほぼ同じような流れとなっています。上記ワークフローを実際に実行した際のダッシュボードは以下のようになっています。各ジョブがどのように実行されどのくらい時間がかかったか、その際のログ出力などが確認出来ます。ワークフローを定期実行するにあたり、以下のような運用を行っています。クライアント専用のコンテナを作成しています。本体とのバージョンの整合性を保ちやすくするなどの理由で共通のコンテナとしています。ファイルはジョブのコンテナに含める運用にしています。配置しておくことでジョブのロジックと一緒に管理出来るの方が今のところ扱いやすいためこのような方法を取っています。コンテナに同梱するような構成で進めてみます。設定は以下のようになります。submitとなっています。どこで扱うかは悩ましいのですがよりアプリケーションに近いところで管理しておくことでワークフローと処理内容を一緒に参照出来る形にしています。運用出来るという部分の要求は十分に満たしています。あるようにかなり多様で柔軟なワークフローを構築出来る点も魅力です。反対に、使ってみて現時点での課題と思うところは以下です。UI)現状実行済みワークフローの参照程度。機能が見受けられます。利用出来るのはかなり便利になるのではと思っています。11:00Tweet関連記事2020-01-09リブセンスの機械学習業務(2020年1月)こんにちは、リブセンスで分析や機械学習関係の仕事をしている...2019-03-05DigdagとEmbulkで行うDB同期の管理データプラットフォームグループの松原です。(@yubessy)...2018-06-12分析基盤のバッチ処理構成を考えるデータプラットフォームチームの橋本です。用いたデータフロー分散処理こんにちは。Inc.LIVESENSEはてなブログをはじめよう!livesense-blogさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。