dbt 사용절차

• dbt 설치

  • dbt Cloud vs. dbt Core
  • git을 보통 사용함

• dbt 환경설정

• Connector 설정

  • Connector가 바로 바탕이 되는 데이터 시스템 (Redshift, Spark, …)

• 데이터 모델링 (tier)

  • Raw Data -> Staging -> Core

• 테스트 코드 작성

• (필요하다면) Snapshot 설정

• dbt 설치 옵션

  Quickstarts | dbt Developer Hub

  • Cloud 버전: dbt Cloud

  • 로컬 개발 버전: dbt Core

    

• dbt 설치: 로컬 버전으로 진행 (1.4.3)

  Quickstarts | dbt Developer Hub

  • pip3 install dbt-redshift

    • 위의 명령은 dbt-core 모듈도 설치해줌

    • 환경에 맞는 dbt connector를 설치: Redshift, BigQuery, Snowflake,

      

  $ dbt --version
  
  Core:
    - installed: 1.5.2
    - latest:    1.5.2 - Up to date!
  
  Plugins:
    - redshift: 1.5.6 - Up to date!
    - postgres: 1.5.2 - Up to date!
  
  $ dbt init learn_dbt
  
  $ ls -tl learn_dbt
  
  

• dbt 환경 설정 - Connector 연결

  • Redshift 연결 정보
    • learnde.cduaw970ssvt.ap-northeast-2.redshift.amazonaws.com
    • Schema: dev
    • Port: 5439
    • Login: 본인의 ID 사용
    • Password:본인의 패스워드 사용

• dbt 환경 설정 - dbt init

  

• yml (or yaml) 파일 포맷: 환경설정 파일에 많이 쓰임

  # Comments start with a #
  # Key-value pairs are separated by a colon and a space
  name: John Doe
  age: 30
  # Lists are denoted by a hyphen and a space
  hobbies:
   - reading
   - hiking
  # Nested key-value pairs are indented with two spaces
  contact:
   email: [email protected]
   phone:
   home: 555-1234
   work: 555-5678
  
  # multi-line string
  description: |
   This is a
   multi-line
   string
  

• dbt 환경 설정 - 설치된 파일과 폴더 살펴보기

  

• dbt 환경 설정 - ~/.dbt/profiles.yml