関する取り組みをご紹介するブログです。分析基盤データプラットフォームチームのよしたけです。#12にて、「リブセンスのデータ分析基盤を支えるRedshiftとAirflow」というタイトルで発表させていただきました。ご紹介させていただきましたが、今回、弊社での活用事例を交えてお話させていただきました。運用上のつらみ、とかそういうところを気にされている方が多かった印象でした。AirflowはPythonでデータフローを記述するため、柔軟に何でもできるという強みがあり、反面、やりすぎると改修が大変になり運用しづらくなるデメリットもあるように思います。反面、Airflowの豊富なオペレータや機能が使いこなせていないというジレンマもあったりします。このあたりの加減は今後も改善を進めていきたいなと思っています。12:57Tweet関連記事2019-03-05DigdagとEmbulkで行うDB同期の管理データプラットフォームグループの松原です。よるコンテナネイティブなデータパイプラインのワークフロー管理データプラットフォームグループの野本です。