disqus: false
cleanUrl: "/airflow"
description: "Apache Airflow에 대해 정리한 내용들"
title: "Apache-Airflow"

Apache Airflow

데이터 엔지니어링 with Apache Airflow (재정리)

0. Airflow 자주 쓰는 명령어 정리

1. 데이터 파이프라인 입문

2. Apache Airflow 입문 및 구조, 개념

3. Transaction

4. Airflow 설치 방법

5. Airflow DAG 작성(PythonOperator, params, context, Xcom, Airflow.cfg, DAG Parameters)

6. Yahoo Finance API DAG(update symbol) 작성

7. airflow.cfg, 타임존 설명

8. 세계 나라 정보 API 사용 DAG

9. Open Weathermap DAG 구현

10. Primary Key Uniqueness란?, Upsert

11.Backfill과 Airflow

12. MySQL 테이블 복사하기(S3 Connection, MySQL Connection, sql_to_s3)

13. Summary table 만들기 (ELT version 1)

13-1.과제(summary table + slack hook)

14. Airflow 운영 상의 어려움 + Executor 개념 + Airflow 아키텍처 리뷰