프로덕션 데이터베이스 (MySQL) ⇒ 데이터 웨어하우스(Redshift)

구현 ETL 예제

• OLTP 복사 ⇒ OLAP

  

  • MySQL의 nps라는 테이블을 Redshift의 raw_data 밑에 nps라는 테이블로 복사하기
  • 위의 내용을 수행하는 DAG를 2가지 버젼으로 만들어서 수행
    1. Full Refresh 하는 버젼
    2. Incremental Update를 하는 버젼
       1. Execution date를 사용해서 airflow에서 원하는 형태의 Incremental update를 수행
       2. Backfill까지 하는 과정

  

  • 첫번째 방법 : 파일을 row 하나씩 insert하게 되면 시간이 너무 오래 걸려 비효율적이다. 레코드가 별로 없을 때 선호되는 방법
  • 두번째 방법 : MySQL을 레코드 읽어서 파일로 다운로드 받아서 S3에 적재한 후 Redshift에 Bulk insert 한다.

• Connection

  • Airflow MySQL 커넥션
  • S3
    • Airflow 서버가 S3에 접근할 수 있는 보안 세팅
    • Redshift가 S3에 접근할 수 있는지 보안 세팅

Airflow Connection 세팅 (MySQL, S3)

AWS 관련 권한 설정

• Airflow DAG에서 S3 접근 (쓰기 권한)
  • IAM User를 만들고 S3 버킷에 대한 읽기/쓰기 권한 설정하고 access key와 secret key를 사용
• Redshift가 S3 접근 (읽기 권한)
  • Redshift에 S3를 접근할 수 있는 역할 (Role)을 만들고 이를 Redshift에 지정

MySQL Connection 설정이 필요하다 (production DB)

• Host:

• Schema: prod

• Login:

• Password:

• Port: 3306

  

• MySQL Connections 설정 시 유의사항

  • EC2 인스턴스

    • connection type에 mySQL을 추가하기 위해서는 ubuntu 유저로 설치를 하나 더 해주어야 한다

    1. MySQL connection을 추가할 때 MySQL이 드롭다운에서 안 보이면 아래 명령을 ubuntu에서 실행

       2. webserver와 scheduler를 재시작해주시기 바랍니다.

       sudo pip3 install --ignore-installed "apache-airflow-providers-postgres"
       
       sudo pip3 install --ignore-installed "apache-airflow-providers-amazon"
       
       ## 위에 까지가 이전 설치
       
       sudo apt-get install -y libmysqlclient-dev
       sudo pip3 install --ignore-installed "apache-airflow-providers-mysql"
       
       sudo systemctl restart airflow-webserver
       sudo systemctl restart airflow-scheduler
       

  • Docker container

    • 아래 명령을 Airflow Scheduler Docker Container에 root 유저로 로그인해서 실행

      • Worker, Webserver container에도 동일 방식 적용

      docker exec --user root -it 0017662673c3 /bin/bash
      (airflow) sudo apt-get update
      sudo apt-get install -y default-libmysqlclient-dev
      sudo apt-get install -y gcc
      sudo pip3 install --ignore-installed "apache-airflow-providers-mysql"
      

    • 위의 명령들은 “ModuleNotFoundError: No module named 'MySQLdb'”에러를 해결하기 위함

AWS S3 Connection 설정