멱등성 (Impodent)

멱등성(Impodent)이란 무엇인가?

• 데이터 파이프라인이 연속 실행되었을 때 소스에 있는 데이터가 그대로 DW로 저장되어야함을 이야기

  a. No duplicates, no missing data

  • 만약 Incremental Update 시, 중복을 제거하지 않고 계속 적재하는 소스 코드라면, 멱등성이 지켜지지 않은 것.

• Full refresh를 하는 데이터 파이프라인이라면?

  1. 먼저 DW의 관련 테이블에서 모든 레코드를 삭제
  2. 데이터 소스에서 읽어온 데이터를 DW 테이블로 적재
  • 만일 1번이 성공하고 2번이 실패한다면? 멱등성 깨짐 ⇒ 원본 데이터와 DW 테이블이 일치 X, 정합성이 깨짐
  • 만일 1번이 실행된 다음에 누군가 이 테이블을 사용한다면?

간단한 ETL

Extract, Transform, Load

• Extract:
  • 데이터를 데이터 소스에서 읽어내는 과정
• Transform:
  • 필요하다면 그 원본 데이터의 포맷을 원하는 형태로 변경시키는 과정. 굳이 변환할 필요는 없다
• Load:
  • 최종적으로 Data Warehouse에 테이블로 집어넣는 과정
• 하나의 DAG는 여러 개의 task라는 단위로 나누어져 있음

실습 ETL 개요

• 웹(S3) 상에 존재하는 이름, 성별 내용의 CSV 파일을 다운받아서 Redshift에 있는 테이블로 복사

  

  1. 각자에게 할당된 schema밑에 아래 테이블을 생성

     CREATE TABLE (본인의스키마).name_gender (
      name varchar(32) primary key,
      gender varchar(8)
     );
     

     • 하지만 데이터웨어하우스는 PK를 보장해주지 않는다. 암묵적 룰로 보장을 해주어야한다.

  2. 데이터 소스

     1. S3 내부 csv 파일에는 2개의 필드가 존재 (name, gender)

        

  3. 파이썬으로 작성: 세 개의 함수로 구성

     1. extract, transform, load

        

  • 위의 과정은 재개하면 중복이 생기게 된다
    • 멱등성을 보장해주어야 한다
  • 또한 한 줄씩 업데이트 하는 게 아니라 파일 배치성으로 bulk update를 해주어야 한다
  • 한 줄씩 인서트하면서 pk 확인을 해주게 되면 효율이 안나온다

ETL 추가 문제