☀️ haejun

Airflow 설치 및 초기 설정

2 min read

요약

  1. Mac에 Docker Desktop 설치 후, 하위 폴더들 생성
  2. Python 가상환경에 apache-airflow 설치
  3. docker-compose.yaml 다운로드 및 수정
  4. Airflow 실행 및 DAG 파일 경로 설정

1. Docker 설치

방법1 (추천): Docker Desktop 설치

docker
docker --version

방법2: Brew로 설치

brew install cask docker  # Docker Desktop 설치 (추천)
brew install docker       # 가상머신 위 도커 (추가 설정 필요)

2. apache-airflow 설치

# 가상환경 생성
python -m venv ./venv
 
# airflow 설치
pip install "apache-airflow[celery]==2.9.1" --constraint \
"https://raw.githubusercontent.com/apache/airflow/constraints-2.9.1/constraints-3.8.txt"

3. docker-compose.yaml 설정

# docker-compose.yaml 다운로드
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.9.1/docker-compose.yaml'
 
# 하위 폴더 생성
mkdir -p ./dags ./logs ./plugins ./config
 
# 호스트, 컨테이너 파일 권한 설정
echo -e "AIRFLOW_UID=$(id -u)\nAIRFLOW_GID=0" > .env
 
# DB 마이그레이션과 계정 생성
sudo docker compose up airflow-init

4. Airflow 실행

# 백그라운드 실행
sudo docker compose up -d
 
# 컨테이너 목록 확인
docker ps

5. 경로 설정

- ${AIRFLOW_PROJ_DIR:-.}/dags:/opt/airflow/dags
- ${AIRFLOW_PROJ_DIR:-.}/logs:/opt/airflow/logs
- ${AIRFLOW_PROJ_DIR:-.}/config:/opt/airflow/config
- ${AIRFLOW_PROJ_DIR:-.}/plugins:/opt/airflow/plugins

6. 환경 초기화

문제 발생 시 초기화 권장 

docker-compose down --volumes --remove-orphans
rm -rf <DIRECTORY>

참고사이트

Graph View