용어 설명: ETL

• ETL: Extract, Transform and Load

  • Extract : 소스를 사용해서 데이터 덤프로부터 데이터를 받아오는 작업들
  • Transform : 데이터의 형태 및 포맷을 바꾸는 것, 경우에 따라서 이 과정 생략 가능
  • Load : 데이터 웨어하우스에 테이블 형태로 적재 혹은 레이크에 적재

• Data Pipeline, ETL, Data Workflow, DAG

  • ETL (Extract, Transform, and Load)

  • Called DAG (Directed Acyclic Graph) in Airflow (단방향 무사이클 그래프)

    

• ETL vs ELT

  • ETL: 데이터를 데이터 웨어하우스 외부에서 내부로 가져오는 프로세스
  • ELT: 데이터 웨어하우스 내부 데이터를 조작해서 (보통은 좀더 추상화되고 요약된) 새로운 데이터를 만드는 프로세스
    • 이 경우 데이터 레이크(DW보다 Scalable)를 쓰기도 함
    • 이런 프로세스 전용 기술들이 있으며 DBT가 가장 유명: Analytics Engineering

• 데이터 웨어하우스의 구성 예시

  

  • Airflow를 사용해서 다수의 데이터 소스로부터 데이터 웨어하우스에 적재
  • 그 후 Airflow를 통해 요약 테이블 구성도 가능 ⇒ ELT가 된다

• Spark/Athena 사용 시나리오

  • 비구조화된 데이터 처리하기

    

  • spark의 API인 dataframe은 다수의 서버에 분산된 데이터를 처리할 수 있게 됨

  • 배치, 스트리밍 데이터 처리도 가능함

  • 대용량 데이터 병렬 처리 (feature 계산)

    • 머신 러닝 모델의 입력으로 들어가는 feature를 배치로 미리 계산하는 경우

      

  • spark는 streaming 처리 가능 (redshift는 배치 처리만 가능)

  • spark는 큰 데이터를 processing하기 위한 프레임 워크에 가깝다

용어 설명: Data Lake vs. Data Warehouse

• Data Lake

  • 정형 데이터 + 다양한 형식의 비정형 데이터 저장

  • 과거 데이터 스토리지에 가깝습니다(보존 정책 없음)

    • ex) S3

  • 크기 면에서 데이터 웨어하우스보다 큰 규모

  • ETL

    

    • ETL + ELT
    • S3에 비구조화 데이터를 적재 후, Spark, Athena, presto를 이용하여 의미가 있는 것들만 DW 혹은 마트를 구성
    • 다양한 종류의 ETL을 스케쥴링해주는 것이 Airflow

• Data Warehouse

  • 보통 DL보다 가격이 비싼 클러스터 사용
  • 일부 보존 정책을 통해 정교하고 구조화된 데이터에 더욱 집중
    • 관계형 DB라 비구조화된 데이터를 다루기엔 어려움
  • 일반적으로 BI 툴(Looker, Tableau, Superset 등)은 데이터 웨어하우스와 연결됩니다
    • 데이터 마트로 DW를 사용

Data Pipeline의 정의

• 데이터를 소스로부터 목적지로 복사하는 작업
  • 이 작업은 보통 코딩 (파이썬 혹은 스칼라) 혹은 SQL을 통해 이뤄짐
  • 대부분의 경우 목적지는 데이터 웨어하우스가 됨
• 데이터 소스의 예:
  • Click stream, call data, ads performance data, transactions, sensor data, metadata, …
  • More concrete examples: production databases, log files, API, stream data (Kafka topic)
• 데이터 목적지의 예:
  • 데이터 웨어하우스, 캐시 시스템 (Redis, Memcache), 프로덕션 데이터베이스, NoSQL, S3, ...