Atsushi2022の日記

データエンジニアリングに関連する記事を投稿してます

Airflow

AirflowがわからなかったのでUdemyで勉強してみた②

概要 UdemyのAirflow講座で勉強したことのメモ。 この記事では主に事前設定やコードについて記載。 (事前準備)Dockerが重たいので、Airflow Standaloneで乗り切る Udemyの講座ではDockerを使って、AirflowだけでなくPostgresSQLなどのコンテナも動かすので…

AirflowがわからなかったのでUdemyで勉強してみた

概要 AirflowのTutorialをやっても、短時間で理解できなさそうだったのでUdemyの講座を試してみました。 英語の講座だったのでちょっとしんどかったので、半分くらいのとこまでしかやってません。 超初歩はなんとなくわかりました。 https://www.udemy.com/c…

Airflowを試してみる ~ Quick Start

AirflowのQuick Startを参考にして、WSL Ubuntu 20.04上にAirflowをインストールする。 以下はQuick Startからの抜粋。 # Airflow needs a home. `~/airflow` is the default, but you can put it # somewhere else if you prefer (optional) export AIRFLOW…