Airflow 설치 방법

• 직접 설치하고 운영
  • 우리가 사용할 방법이다.
• 클라우드 사용 (프로덕션 환경에서 선호된다)
  • AWS: MWAA (Managed Workflows for Apache Airflow) 사용
  • 구글 클라우드: Cloud Composer 사용
  • Microsoft Azure: Azure Data Factory에 Airflow DAGs 기능 존재

AWS 설치 - EC2 사용

실습 인스턴스 : 우분투 20.04 사용

• AWS EC2 t3.small나 t3a.small 인스턴스를 사용할 예정
  • 2 CPU, 2 GB Memory, 8GB SSD Disk 사용
• AWS 계정 필요
  • 위 인스턴스 타입은 Free Tier가 아니기에 비용이 발생함을 인지
    • t3.small 인스턴스의 경우 한달 비용이 $18.72
    • t3a.small 인스턴스의 경우 한달 비용이 $16.85
  • 가능하면 실제 개발 실습은 Docker 환경을 사용하는 것이 비용적인 측면에서는 이득

리눅스 기본 이해하기

• 우분투 (ubuntu): 리눅스 타입 중의 하나. 다른 타입은 데비안, 레드햇, 페도라, ...
• ssh: 리눅스 혹은 유닉스 서버에 로그인해주는 프로그램 (터미널)
  • private key와 public key를 사용
• sudo: 보통 슈퍼유저로서 프로그램을 구동할 수 있도록 하는 프로그램이다.
• apt-get: 우분투/데비안 계열의 리눅스에서 프로그램 설치/삭제를 관리해주는 프로그램
  • apt-get update, apt-get install
• su: substitue user의 약자로 현재 사용 중인 사용자 계정을 로그아웃하지 않고 다른 사용자의 권한을 얻을 때 사용한다
• vi: 텍스트 에디터. https://withcoding.com/112

Airflow 2.5.1 Installation

• 최신 안정 버전을 찾아서 2.5.1을 적절히 변경해서 실행하길 권장