데이터 팀

데이터 조직의 비전은?

• 신뢰할 수 있는 데이터를 바탕으로 부가 가치 생성

  • Data is the new oil?
  • 데이터의 중요성을 강조하니 데이터 팀도 회사에서 인정을 받는다?

• 고품질 데이터를 기반으로 의사 결정권자에게 입력 제공

  • 결정 과학 (Decision Science)라고 부르기도 함.
  • 데이터를 고려한 결정(data informed decisions)을 가능하게 해줌
    • vs. 데이터 기반 결정(data driven decisions)
  • 예를 들면 데이터 기반 지표 정의, 대시보드와 리포트 생성 등을 수행

• 데이터의 흐름과 데이터 팀의 발전 단계는 다음과 같습니다

  

데이터 팀의 발전 - 데이터 인프라 구축

서비스에서 직접 생기는 데이터와 써드파티를 통해 생기는 간접 데이터(데이터 베이스) → ETL → 데이터 웨어하우스 (저장할 수 있는 크기가 커야한다)

데이터 인프라의 구축은 데이터 엔지니어가 수행

데이터 웨어하우스는 응답 속도에 크게 의미를 두지 않는다 → 내부에서 접근하는 사내 혹은 분석용 DB이기 때문

사용자 DB와의 차이점은 처리 속도

<aside> 💡 데이터 웨어하우스의 주안점은 처리할 수 있는 데이터의 크기가 얼만큼 큰지 분석에 필요한 온갖 데이터들을 가져다 놓는다/

</aside>

OLTP → Online Transaction Processing (MySQL 등)

OLAP → Online Analytical Processing (빅쿼리, Redshift)

데이터 웨어하우스

• 회사에 필요한 모든 데이터를 모아놓은 중앙 데이터베이스 (SQL 데이터베이스)