<aside> 💡 S3에 굉장히 큰 데이터가 있는데 이를 Redshift로 로딩하기가 버겁다면 이를 외부 테이블로 설정해서 Redshift에서 조작이 가능하다. 이에 대해 알아보자.

</aside>

Fact 테이블과 Dimension 테이블

• Fact 테이블: 분석의 초점이 되는 양적 정보를 포함하는 중앙 테이블
  • 일반적으로 매출 수익, 판매량 또는 이익과 같은 사실 또는 측정 항목을 포함하며 비즈니스 결정에 사용
  • Fact 테이블은 일반적으로 외래 키를 통해 여러 Dimension 테이블과 연결됨
  • 보통 Fact 테이블의 크기가 훨씬 더 큼
• Dimension 테이블: Fact 테이블에 대한 상세 정보를 제공하는 테이블
  • 고객, 제품과 같은 테이블로 Fact 테이블에 대한 상세 정보 제공
  • Fact 테이블의 데이터에 맥락을 제공하여 사용자가 다양한 방식으로 데이터를 조각내고 분석 가능하게 해줌
  • Dimension 테이블은 일반적으로 primary key를 가지며, fact 테이블의 foreign key에서 참조
  • 보통 Dimension 테이블의 크기는 훨씬 더 작음

Fact 테이블과 Dimension 테이블의 예

• 1번째 예

  • Fact 테이블

    • user_session_channel

      

  • Dimension 테이블

    • 사용자나 채널에 대한 정보로 상대적으로 크기가 작음
    • user_session_channel 테이블에 사용된 사용자나 채널에 대한 정보
      • user
      • channel
• 2번째 예
  • Fact 테이블
    • Order 테이블
      • 사용자들의 상품 주문에 대한 정보가 들어간 테이블
  • Dimension 테이블
    • Product 테이블. Order 테이블에 사용된 상품에 대한 정보
    • User 테이블. Order 테이블에서 상품 주문을 한 사용자에 대한 정보

Redshift Spectrum 사용 유스 케이스

• S3에 대용량 Fact 테이블이 파일(들)로 존재
• Redshift에 소규모 Dimension 테이블이 존재
• Fact 테이블을 Redshift로 적재하지 않고 위의 두 테이블을 조인하고 싶다면?
• 이 때 사용할 수 있는 것이 Redshift Spectrum
  • 이는 별도로 설정하거나 론치하는 것이 아니라 Redshift의 확장 기능으로 사용하고 그만큼 비용 부담

외부 테이블(External Table)이란?

• 데이터베이스 엔진이 외부에 저장된 데이터를 마치 내부 테이블처럼 사용하는 방법
  • 외부 테이블은 외부(보통 S3와 같은 클라우드 스토리지)에 저장된 대량의 데이터를 데이터베이스 내부로 복사하고 쓰는 것이 아니라 임시 목적으로 사용하는 방식
• SQL 명령어로 데이터베이스에 외부 테이블 생성 가능
  • 이 경우 데이터를 새로 만들거나 하는 것이 아니라 참조만 하게 됨
  • 외부 테이블은 CSV, JSON, XML과 같은 파일 형식 뿐만 아니라 ODBC 또는 JDBC 드라이버를 통해 액세스하는 원격 데이터베이스와 같은 다양한 데이터 소스에 대해 사용 가능
• 외부 테이블을 사용하여 데이터 처리 후 결과를 데이터베이스에 적재하는데 사용가능
  • 예를 들어, 외부 테이블을 사용하여 로그 파일을 읽고 정제된 내용을 데이터베이스 테이블에 적재 가능