毎回GCS上にアップロードして確認するのがなかなか手間で......ローカルでの動作確認環境もちゃんと構築したいと悩んでいました。Breeze」という、ローカルでの環境を提供してくれていることを最近知りました。Composeで環境が実行できるみたいです。Composeを使います。exit再度Ubuntuに接続、sudoなしでコマンド実行ができることを確認する。5becea4cUbuntuのgitの設定gitはインストール済みなので、もろもろ初期設定しておきましょう。Breezeの初回実行breezeを実行。初回インストールをしてくれます。以下のコマンドでAirflowを開始しましょう。start-airflowしばらくするとターミナルが勝手に4分割され、Airflowが起動します。localhost:28080にアクセス。サインインが求められるので、admin/adminでサインインしましょう。こんなかんじで初期画面が表示されます。Ver2以降見たのは初めてですが、左上のアイコンをマウスオーバーするとくるくる周ってとってもかわいいです。cloneしてできた、airflowディレクトリ配下の、files/dagsになります。このディレクトリが、Dockerコンテナの、/files/dagsとマウントしています。ここにDAGファイルをfiles/dags/hello_truefly.pyという名前で作成してみます。t3無事作成されました。アップロード時点ではDAGはPauseになっているので、有効化してみます。start_dateが前日以前で、catchup=Falseとなっているため、ONにしたらすぐに実行されます。Viewで確認が可能です。Breezeを使って、Windows10でも簡単にAirflowの開発環境を構築することができました。私の環境ではAirflowのVersionがまだ1系なので、2系の検証をするために早速この環境を活用していこうと思います。機会があれば、Airflowの使い方、活用方法なども本ブログを通して紹介したいと思います。Functions】Pythonでサーバレスサービスに入門してみる【Fa...プログラムを外部に公開する時、必ず必要なものって何でしょう...2021-08-13もうローカルのエディタはいらない?ブラウザで動くVSCode「github.dev」を試してみたみなさんおはようございます。はてなブログPro都内でGCP、Python使ったデータエンジニアやってます。クラウドでの設計~開発・運用まで全部やります。20代文系エンジニアです。GCP、Python中心に、データエンジニアとして学んでいる技術をご紹介する記事を書いています。BigQueryとAirflowとバイクと鳥が好き。アイコンはたまたまお魚を加えていたときのカワセミさん。引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。