Ch6. 데이터 변환하기

파이프라인의 목적 : 비즈니스 통찰력 또는 분석을 생성하는 것.

• 데이터가 데이터 모델로 추가 변환됨

데이터 모델

• 데이터 분석을 위해 이해되고 최적화된 형식으로 데이터를 정형화화고 정의
• 데이터 웨어하우스에서 하나 이상의 테이블로 표시됨

비문맥적 변환

테이블에서 레코드 중복 제거

데이터 웨어하우스에 수집된 데이터 테이블에 중복 레코드가 존재할 수 있는 이유

• 증분 데이터 수집에서 실수로 이전 수집 시간 창과 겹치거나 이전 실행에서 이미 수집된 일부 레코드를 선택한 경우
• 원본 시스템에서 중복 레코드가 실수로 생성된 경우
• 나중에 채워진(backfilled) 데이터가 테이블에 로드된 후속 데이터와 겹치는 경우

중복 레코드가 있는 Orders 테이블

• 중복 레코드 확인에 사용할 Orders 테이블 생성코드

중복 레코드 수와 중복 레코드를 반환하는 코드