📚 Data Catalog 개요

1.1 데이터 카탈로그란?

Data Catalog(데이터 카탈로그)는 조직의 모든 데이터 자산을 중앙에서 관리하고 검색할 수 있게 해주는 메타데이터 관리 시스템입니다. 마치 도서관의 목록 시스템처럼, 데이터 카탈로그는 조직이 보유한 모든 데이터의 위치, 내용, 관계를 체계적으로 정리합니다.

데이터 카탈로그의 주요 구성 요소

구성 요소	설명	예시
데이터 자산	테이블, 파일, 스트림 등 실제 데이터 저장소	customers 테이블, user_logs.parquet
메타데이터	데이터에 대한 정보 (스키마, 소유자, 설명)	컬럼명, 데이터 타입, 업데이트 시간
데이터 계보	데이터의 흐름과 변환 과정	ETL 파이프라인, 데이터 변환 로직
비즈니스 용어	조직의 공통 언어 정의	LTV, MAU, Conversion Rate
분류 & 태그	데이터 분류 및 라벨링	PII, GDPR, customer-domain

1.2 왜 데이터 카탈로그가 필요한가?

현대 조직이 직면한 데이터 문제들

오늘날 기업들은 다음과 같은 데이터 관련 문제에 직면하고 있습니다:

1. 데이터 사일로 (Data Silos)
   각 부서와 팀이 독립적으로 데이터를 관리하면서 전체 조직 차원에서 어떤 데이터가 어디에 있는지 파악하기 어렵습니다.
2. 중복 작업
   동일한 데이터를 여러 팀이 독립적으로 수집하고 처리하면서 시간과 리소스가 낭비됩니다.
3. 데이터 품질 문제
   데이터의 정확성, 완전성, 일관성을 보장하기 어렵고, 어떤 데이터를 신뢰해야 할지 모호합니다.
4. 규제 준수
   GDPR, CCPA 등 데이터 프라이버시 규제를 준수하기 위해 PII 데이터의 위치와 사용처를 추적해야 합니다.
5. 느린 데이터 접근
   필요한 데이터를 찾는데 며칠에서 몇 주가 걸리며, 이는 비즈니스 의사결정 속도를 저하시킵니다.

데이터 카탈로그가 제공하는 가치

• 🔍 데이터 발견성 향상
  누구나 쉽게 필요한 데이터를 찾을 수 있습니다.
• 📈 생산성 증대
  데이터 검색 시간을 90% 이상 단축합니다.
• 🎯 데이터 품질 개선
  데이터 문제를 빠르게 발견하고 해결할 수 있습니다.
• 🛡️ 규제 준수
  PII 데이터를 자동으로 탐지하고 추적합니다.
• 🤝 협업 강화
  조직 전체가 동일한 언어로 데이터를 이해합니다.
• 💰 비용 절감
  중복 작업을 제거하고 데이터 인프라를 효율적으로 활용합니다.

1.3 데이터 카탈로그의 핵심 기능

1) Data Discovery (데이터 발견)

강력한 검색 엔진을 통해 데이터 자산을 빠르게 찾을 수 있습니다. 키워드 검색, 자동완성, 필터링, 관련도 순위 등의 기능을 제공합니다.

2) Metadata Management (메타데이터 관리)

기술 메타데이터(스키마, 데이터 타입), 비즈니스 메타데이터(설명, 소유자), 운영 메타데이터(접근 빈도, 품질 점수)를 통합 관리합니다.

• 자동 수집: 데이터베이스, 데이터 웨어하우스에서 메타데이터 자동 추출
• 수동 보강: 사용자가 비즈니스 컨텍스트 추가
• 버전 관리: 스키마 변경 이력 추적

3) Data Lineage (데이터 계보)

데이터의 출처, 변환 과정, 최종 목적지를 시각적으로 보여줍니다. "이 대시보드의 숫자는 어디서 온 것인가?"라는 질문에 답할 수 있습니다.

4) Business Glossary (비즈니스 용어집)

조직의 공통 언어를 정의합니다. "월간 활성 사용자(MAU)"의 정의를 모든 팀이 동일하게 이해하도록 만듭니다.

5) Data Classification & Tagging (분류 및 태깅)

데이터를 자동으로 분류하고 태그를 부여합니다. PII, 금융 데이터, GDPR 준수 등 보안 및 규제 관련 분류를 자동화합니다.

6) Data Quality (데이터 품질)

데이터 품질을 측정하고 모니터링합니다. 완전성, 정확성, 일관성, 적시성을 자동으로 평가하고 품질 점수를 제공합니다.

1.4 데이터 카탈로그 vs. 전통적인 방식

측면	전통적인 방식	데이터 카탈로그
데이터 검색	동료에게 질문, 이메일, 위키 문서	실시간 검색 엔진
메타데이터	Excel, Confluence 문서	자동 수집 및 동기화
데이터 계보	수동 문서화 (outdated)	자동 추적 및 시각화
용어 정의	팀마다 다른 정의	중앙 집중식 용어집
데이터 품질	문제 발생 후 대응	사전 모니터링 및 알림
규제 준수	수동 추적 (높은 리스크)	자동 PII 탐지 및 추적

1.5 데이터 카탈로그의 발전 역사

1. 1세대 (2000년대 초반): 메타데이터 저장소
   단순히 테이블과 컬럼 정보를 저장하는 수준
2. 2세대 (2010년대): 엔터프라이즈 카탈로그
   검색, 계보, 비즈니스 용어집 기능 추가 (Collibra, Alation)
3. 3세대 (2015년~): 오픈소스 혁명
   Apache Atlas, Amundsen 등 오픈소스 솔루션 등장
4. 4세대 (2020년~): 클라우드 네이티브 & AI 기반
   DataHub, Monte Carlo 등 현대적 아키텍처와 ML 기반 자동화

1.6 데이터 민주화와 셀프서비스 분석

데이터 카탈로그의 궁극적인 목표는 데이터 민주화 (Data Democratization)입니다. 이는 조직의 모든 구성원이 필요한 데이터에 쉽게 접근하고 활용할 수 있게 만드는 것을 의미합니다.

1.7 다음 장 예고

다음 장에서는 데이터 카탈로그의 핵심 기능인 Data Discovery & Search를 깊이 있게 다룹니다. 검색 아키텍처, Elasticsearch 활용, 관련도 순위 알고리즘 등 실전에서 필요한 기술적 내용을 배우게 됩니다.