dbt 소개

dbt란 무엇인가?

• Data Build Tool (https://www.getdbt.com/)

• ELT용 오픈소스: In-warehouse data transformation

• dbt Labs라는 회사가 상용화 ($4.2B valuation)

• Analytics Engineer라는 말을 만들어냄

  • 다양한 데이터 웨어하우스를 지원

• Redshift, Snowflake, Bigquery, Spark

  • 클라우드 버전도 존재

• dbt Cloud

• dbt가 서포트해주는 데이터 시스템

  • BigQuery
  • Redshift
  • Snowflake
  • Spark

• dbt 구성 컴포넌트

  • 데이터 모델 (models)
    • 테이블들을 몇 개의 티어로 관리
      • 테이블의 품질, 가공 정도를 티어로 관리
        • 가공 정도
          • Raw →Staging → Core
      • 일종의 CTAS (SELECT 문들), Lineage 트래킹
    • Table, View, CTE 등등
  • 데이터 품질 검증 (tests)

    • 스냅샷 (snapshots)

      

dbt 사용 시나리오

<aside> 💡 dbt가 어떻게 사용될 수 있는지 가상 환경을 생각해보자

</aside>

• 다음과 같은 요구조건을 달성해야한다면?

  • 데이터 변경 사항을 이해하기 쉽고 필요하다면 롤백 가능
  • 데이터간 리니지 확인 가능
  • 데이터 품질 테스트 및 에러 보고
  • Fact 테이블의 증분 로드 (Incremental Update)
  • Dimension 테이블 변경 추적 (히스토리 테이블)
  • 용이한 문서 작성

• 보통 사용하는 테크 스택

  

  • Redshift/Spark/Snowflake/BigQuery
  • dbt
  • Airflow