Lakehouse Architecture

계층별 역할

• Applications: BI, 데이터 과학, AI/ML과 데이터 애플리케이션
• Compute: 분산 SQL 엔진과 데이터 커넥터
• Metadata: 카탈로그, 스키마와 테이블 메타데이터
• Table format: 스냅샷, 파티션과 스키마 진화
• Storage: Tarantula Object Storage(TOS)

확장 원칙

저장과 컴퓨팅을 분리하면 데이터 보유량과 동시 쿼리 수를 서로 독립적으로 확장할 수 있습니다. Coordinator는 고가용성으로, Worker는 Active–Active 방식으로 늘리고 저장 노드는 용량과 처리량을 함께 고려합니다.

데이터 수명주기

1. 업무 DB와 파일·로그에서 데이터를 수집합니다.
2. 카탈로그와 개방형 테이블 포맷으로 정리합니다.
3. 집계·조인과 BI 분석을 수행합니다.
4. 정제 데이터를 모델 학습과 RAG에 제공합니다.
5. 보존 주기와 비용에 따라 데이터 계층을 조정합니다.