dbt Models: Input

<aside> 💡 dbt는 sql을 효과적으로 생성해주고 밑바닥에 있는 DW에 실행을 해줌으로써 db 모델 관리를 잘해주고 테스트 붙이고 스냅샷 잡고 document도 쉽게 만들 수 있는 ELT 툴

</aside>

<aside> 💡 dbt Model을 사용해 입력 데이터들을 transform해보자

</aside>

• Model이란?

  • ELT 테이블을 만듬에 있어 기본이 되는 빌딩블록
    • 테이블이나 뷰나 CTE의 형태로 존재
  • 입력,중간,최종 테이블을 정의하는 곳

    • 티어 (raw, staging, core, …)

    • raw : ETL을 통해 만들어짐

    • staging : 클린업을 거침

    • core : Transform을 거쳐 입력으로 쓰임

    • raw ⇒ staging (src) ⇒ core

      

• 잠깐: View란 무엇인가?

  • SELECT 결과를 기반으로 만들어진 가상 테이블 (물리적 디스크에 저장되는 것이 아님)
    • 기존 테이블의 일부 혹은 여러 테이블들을 조인한 결과를 제공함
    • CREATE VIEW 이름 AS SELECT …
  • View의 장점
    • 데이터의 추상화: 사용자는 View를 통해 필요 데이터에 직접 접근. 원본 데이터를 알 필요가 없음
      • 누군가 view를 통해 칼럼을 만들면 그 것을 사용하면 된다.
    • 데이터 보안: View를 통해 사용자에게 필요한 데이터만 제공. 원본 데이터 접근 불필요
    • 복잡한 쿼리의 간소화: SQL(View)를 사용하면 복잡한 쿼리를 단순화.
  • View의 단점
    • 매번 쿼리가 실행되므로 시간이 걸릴 수 있음
    • 원본 데이터의 변경을 모르면 실행이 실패함

CTE (Common Table Expression)

WITH temp1 AS (
 SELECT k1, k2
 FROM t1
 JOIN t2 ON t1.id = t2.foreign_id
), temp2 AS (
…
)
SELECT *
FROM temp1 t1
JOIN temp2 t2 ON …

WITH src_user_event AS (
 SELECT * FROM raw_data.user_event
)
SELECT
 user_id,
 datestamp,
 item_id,
 clicked,
 purchased,
 paidamount
FROM
 src_user_event

Model 구성 요소

• Input
  • 입력(raw)과 중간(staging, src) 데이터 정의
  • raw는 CTE로 정의
  • staging은 View로 정의
• Output
  • 최종(core) 데이터 정의
  • core는 Table로 정의
• 이 모두는 models 폴더 밑에 sql 파일로 존재
  • 기본적으로는 SELECT + Jinja 템플릿과 매크로
  • jinja 템플릿을 통해 다양한 테이블 접근 가능
  • 다른 테이블들을 사용 가능 (reference)
    • 이를 통해 리니지(계보) 파악

데이터 빌딩 프로세스

위 staging field를 정의할 때 dbt model을 사용