Airflowの要点っぽいところ AirflowではワークフローをDAGと呼ぶ。DAGは複数のTaskからなる。 Taskが様々な処理を実行し、DAGが各Taskの実行順序を定義する。 TaskにはOperartorやSensorといった種類がある。 なので、関係性は次のようなイメージ。 DAG Task…

概要 UdemyのAirflow講座で勉強したことのメモ。 この記事では主に事前設定やコードについて記載。 （事前準備）Dockerが重たいので、Airflow Standaloneで乗り切る Udemyの講座ではDockerを使って、AirflowだけでなくPostgresSQLなどのコンテナも動かすので…

概要 AirflowのTutorialをやっても、短時間で理解できなさそうだったのでUdemyの講座を試してみました。 英語の講座だったのでちょっとしんどかったので、半分くらいのとこまでしかやってません。 超初歩はなんとなくわかりました。 https://www.udemy.com/c…

AirflowのQuick Startを参考にして、WSL Ubuntu 20.04上にAirflowをインストールする。 以下はQuick Startからの抜粋。 # Airflow needs a home. `~/airflow` is the default, but you can put it # somewhere else if you prefer (optional) export AIRFLOW…