데이터 계보의 유형

데이터 계보는 여러 형태로 제공되며, 각각 특정 사용 사례에 적합하고 다른 수준의 세부 정보를 제공합니다. 이러한 유형을 이해하면 필요에 맞는 적절한 세밀도를 선택하는 데 도움이 됩니다.

1. 컬럼 레벨 계보

컬럼 레벨 계보는 가장 세밀한 수준에서 데이터를 추적합니다: 테이블 내의 개별 컬럼. 어떤 소스 컬럼이 어떤 대상 컬럼에 기여하는지, 어떻게 변환되는지를 정확히 보여줍니다.

추적하는 내용

• 각 대상 컬럼의 소스 컬럼
• 컬럼에 적용된 변환 로직
• 데이터 타입 변환
• 집계 및 계산
• 컬럼에 영향을 미치는 조인 조건

사용 사례

• 데이터 프라이버시: 변환을 통해 PII 컬럼 추적
• 데이터 품질: 잘못된 값을 특정 소스 컬럼으로 추적
• 규제 준수: 민감한 데이터가 어떻게 사용되는지 정확히 표시
• 영향 분석: 컬럼이 변경되면 어떤 보고서가 손상되는지 이해

2. 테이블 레벨 계보

테이블 레벨 계보는 전체 테이블, 뷰 또는 데이터셋 간의 관계를 추적합니다. 컬럼 세부 정보를 파고들지 않고 데이터 흐름의 상위 수준 관점을 제공합니다.

추적하는 내용

• 소스 테이블/데이터셋
• 대상 테이블/데이터셋
• 변환 작업/프로세스
• 데이터 이동 패턴

사용 사례

• 상위 수준 영향 분석: 이 테이블에 의존하는 시스템은?
• 데이터 아키텍처: 전체 데이터 흐름 시각화
• 성능 최적화: 데이터 파이프라인의 병목 현상 식별
• 변경 관리: 테이블 마이그레이션 및 폐기 계획

3. 프로세스 레벨 계보

프로세스 레벨 계보는 데이터보다는 변환 자체에 초점을 맞춥니다. 어떤 작업, 스크립트 또는 프로세스가 데이터를 생성하고 수정하는지 추적합니다.

추적하는 내용

• ETL/ELT 작업 정의
• 작업 의존성 및 스케줄링
• 실행 기록 및 타이밍
• 성공/실패 상태
• 리소스 소비

사용 사례

• 파이프라인 오케스트레이션: 작업 의존성 이해
• 문제 해결: 어떤 작업이 실패하여 다운스트림 문제를 일으켰는지 식별
• 성능 모니터링: 작업 실행 시간 추적
• 리소스 계획: 작업 스케줄링 최적화

4. 비즈니스 계보

비즈니스 계보는 기술적 데이터 계보를 비즈니스 개념, 메트릭 및 KPI와 연결합니다. 기술 자산을 비즈니스 친화적인 언어로 변환합니다.

추적하는 내용

• 비즈니스 메트릭 및 기술 구현
• 소유권 및 관리 정보
• 비즈니스 용어집 용어
• 데이터 품질 규칙 및 SLA

사용 사례

• 비즈니스 사용자 셀프 서비스: 비기술 사용자가 데이터 원본 이해
• 거버넌스: 데이터 소유권 및 책임 추적
• 메트릭 정의: 일관된 메트릭 계산 보장
• 규제 보고: 규정 준수 요구사항을 데이터에 연결

계보 유형 선택

대부분의 조직은 계보 유형의 조합이 필요합니다. 핵심은 각 사용 사례에 적합한 수준을 선택하는 것입니다:

하이브리드 접근법

현대 계보 도구는 종종 여러 유형을 결합합니다:

• 성능을 위해 기본적으로 테이블 레벨
• 필요 시 컬럼 레벨로 드릴다운
• 비즈니스 컨텍스트로 보강
• 작업/프로세스 메타데이터 포함

이 하이브리드 접근법은 포괄성과 유지 관리 가능성 및 성능 간의 균형을 맞춥니다.

5. 정적 vs 동적 계보

계보는 수집 시점에 따라 정적(설계 시간) 또는 동적(실행 시간)으로 분류할 수 있습니다.

정적 계보

정적 계보는 코드 분석을 통해 생성되며 실제 데이터 흐름이 아닌 잠재적 데이터 흐름을 나타냅니다:

• 소스: SQL 스크립트, ETL 정의, 프로그램 코드
• 수집 방법: 파싱, 정적 분석, AST 트리 검사
• 장점: 빠르고, 실행 없이 수집 가능, 모든 경로 포함
• 단점: 조건부 로직 누락, 동적 SQL 처리 불가

-- 원본 SQL
CREATE TABLE customer_summary AS
SELECT
    c.customer_id,
    c.email,
    COUNT(o.order_id) as total_orders
FROM customers c
LEFT JOIN orders o ON c.customer_id = o.customer_id
GROUP BY c.customer_id, c.email;

-- 파싱된 계보 메타데이터
소스 테이블:
  - customers (컬럼: customer_id, email)
  - orders (컬럼: customer_id, order_id)

목적지 테이블:
  - customer_summary (컬럼: customer_id, email, total_orders)

변환:
  - JOIN: customers.customer_id = orders.customer_id
  - AGGREGATION: COUNT(orders.order_id)

동적 계보

동적 계보는 실제 실행 중에 캡처되어 정확한 데이터 흐름을 보여줍니다:

• 소스: 런타임 실행 로그, 쿼리 히스토리
• 수집 방법: 계측, 후킹, 로깅
• 장점: 실제 경로 정확히 캡처, 동적 쿼리 처리
• 단점: 실행 필요, 오버헤드 발생, 모든 경로 캡처 안 될 수 있음

실행 ID: exec_20250126_143022
타임스탬프: 2025-01-26 14:30:22 UTC
작업: customer_summary_daily

읽은 데이터:
  - customers (파티션: 2025-01-26, 행: 45,892)
  - orders (파티션: 2025-01-26, 행: 12,304)

쓴 데이터:
  - customer_summary (파티션: 2025-01-26, 행: 45,892)

처리 통계:
  - 처리 시간: 8.3초
  - 처리한 바이트: 234MB
  - 메모리 사용: 512MB

6. 기술적 계보 vs 비즈니스 계보 상세

기술적 계보와 비즈니스 계보는 서로 보완적이며 각각 다른 사용자를 대상으로 합니다.

기술적 계보의 특징

비즈니스 계보의 특징

7. 필드 레벨 계보의 중요성

필드 레벨 계보(컬럼 레벨 계보라고도 함)는 가장 세밀한 추적을 제공하여 규제가 엄격한 산업에서 특히 중요합니다.

규정 준수 요구사항

• GDPR: 개인 데이터의 모든 사용 추적 필요
• HIPAA: 의료 정보의 전체 여정 문서화
• SOX: 재무 데이터의 감사 추적 유지
• CCPA: 캘리포니아 소비자 데이터 처리 증명

필드: customer_email
타입: PII - 개인 식별 정보
분류: 민감도 높음

계보 체인:
1. source_systems.crm.contacts.email_address
   ↓ [ETL: 복사, 소문자 변환]
2. staging.raw_contacts.email
   ↓ [ETL: 유효성 검사, 중복 제거]
3. warehouse.customers.email
   ↓ [SQL: SELECT, 해싱]
4. analytics.customer_360.email_hash
   ↓ [API: 노출]
5. dashboards.marketing.anonymized_email

각 단계의 변환:
- 1→2: LOWER(email_address) AS email
- 2→3: CASE WHEN email ~ '^[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}$' THEN email END
- 3→4: SHA256(email) AS email_hash
- 4→5: CONCAT(LEFT(email, 3), '***@', SPLIT_PART(email, '@', 2))

8. 계보 유형별 도구 및 기술

각 계보 유형은 서로 다른 도구와 기술을 사용하여 구현됩니다.

9. 실제 구현 전략

조직에서 계보를 구현할 때는 단계적 접근이 효과적입니다:

1단계: 평가 및 계획 (1-2개월)

• 현재 데이터 인프라 매핑
• 중요 데이터 자산 식별
• 이해관계자 요구사항 수집
• 계보 범위 및 세밀도 결정

2단계: 파일럿 프로젝트 (2-3개월)

• 중요한 단일 파이프라인 선택
• 테이블 레벨 계보 구현
• 기본 시각화 도구 설정
• 초기 가치 입증

3단계: 확장 (3-6개월)

• 추가 파이프라인 온보딩
• 중요 데이터셋에 컬럼 레벨 추가
• 비즈니스 메타데이터 통합
• 자동화된 수집 구축

4단계: 최적화 (지속적)

• 성능 튜닝
• 데이터 품질 검사 추가
• 고급 분석 기능 구현
• 거버넌스 프로세스 통합

10. 장단점 비교표

11. 장 요약

이 장에서는 데이터 계보의 다양한 유형을 탐구했습니다. 각 유형은 특정 사용 사례와 요구사항을 충족합니다:

• 테이블 레벨 계보: 전체 데이터 아키텍처 이해를 위한 기초
• 컬럼 레벨 계보: 규정 준수와 정밀한 영향 분석에 필수
• 프로세스 레벨 계보: 파이프라인 최적화와 오케스트레이션에 중요
• 비즈니스 계보: 거버넌스와 비기술 사용자를 위한 가교
• 정적 vs 동적: 설계 시간 분석과 실행 시간 추적의 균형

효과적인 계보 전략은 조직의 성숙도, 리소스, 규정 준수 요구사항에 따라 이러한 유형을 조합합니다. 테이블 레벨로 시작하여 점진적으로 세밀도를 추가하는 것이 일반적인 모범 사례입니다.

12. 복습 질문

1. 테이블 레벨 계보와 컬럼 레벨 계보의 주요 차이점은 무엇인가요?
   답변 힌트: 세밀도, 구현 복잡성, 사용 사례 측면에서 비교하세요.
2. GDPR 준수를 위해 어떤 유형의 계보가 가장 중요한가요? 그 이유는?
   답변 힌트: 개인 데이터 추적 요구사항을 고려하세요.
3. 정적 계보와 동적 계보를 각각 언제 사용해야 하나요?
   답변 힌트: 동적 SQL, 조건부 로직, 성능 고려사항을 생각해보세요.
4. 비즈니스 계보가 데이터 거버넌스에 어떻게 도움이 되나요?
   답변 힌트: 비기술 이해관계자의 역할을 고려하세요.
5. 하이브리드 계보 접근법의 장점 세 가지를 설명하세요.
   답변 힌트: 유연성, 성능, 커버리지를 생각해보세요.