WIA-DATA-004 v1.0

1장

소개 및 개요

데이터 파이프라인의 세계

1.1 데이터 파이프라인이란?

데이터 파이프라인은 데이터를 한 장소에서 다른 장소로 이동시키면서 필요한 변환을 수행하는 자동화된 프로세스입니다. 마치 물리적 파이프라인이 원유를 정제소로 운반하듯이, 데이터 파이프라인은 원시 데이터를 분석 가능한 형태로 전달합니다.

왜 파이프라인인가?

데이터는 흐름입니다. 한 곳에서 생성되어 여러 단계를 거쳐 최종 목적지에 도달합니다. 이 흐름이 막히거나 새면 전체 시스템이 마비됩니다. 따라서 견고하고 신뢰할 수 있는 파이프라인이 필수적입니다.

1.2 데이터 파이프라인의 역사

1세대: 수동 처리 (1990년대)

2세대: ETL 도구 (2000년대)

3세대: 빅데이터 시대 (2010년대)

4세대: 클라우드 네이티브 (2020년대)

1.3 핵심 구성 요소

Data Source (데이터 소스)

데이터가 시작되는 곳:

Data Pipeline (데이터 파이프라인)

데이터를 처리하는 과정:

Data Destination (데이터 목적지)

데이터가 도착하는 곳:

1.4 데이터 파이프라인 패턴

ETL (Extract-Transform-Load)

┌──────────┐    ┌───────────┐    ┌──────────┐
│  Source  │───▶│ Transform │───▶│   Dest   │
└──────────┘    └───────────┘    └──────────┘
   Extract         Transform          Load

장점:

단점:

ELT (Extract-Load-Transform)

┌──────────┐    ┌──────────┐    ┌───────────┐
│  Source  │───▶│   Dest   │───▶│ Transform │
└──────────┘    └──────────┘    └───────────┘
   Extract          Load           Transform

장점:

단점:

Reverse ETL

┌───────────┐    ┌───────────┐    ┌──────────┐
│ Warehouse │───▶│ Transform │───▶│   SaaS   │
└───────────┘    └───────────┘    └──────────┘

데이터 웨어하우스의 분석 결과를 다시 운영 시스템으로 전달:

1.5 Batch vs Stream

Batch Processing (배치 처리)

개념: 데이터를 모아서 한 번에 처리

매일 새벽 2시:
1. 어제 하루 거래 데이터 수집
2. 정제 및 집계
3. 리포트 생성
4. 이메일 발송

적합한 경우:

Stream Processing (스트림 처리)

개념: 데이터가 생성되는 즉시 처리

실시간:
사용자 클릭 → Kafka → 실시간 분석 → 대시보드 업데이트

적합한 경우:

Lambda Architecture

Batch와 Stream을 함께 사용:

┌─────────┐
│  Source │
└────┬────┘
     ├──▶ Batch Layer  (정확성)
     └──▶ Speed Layer  (실시간)
           ↓
      Serving Layer (결합)

1.6 데이터 파이프라인의 도전과제

1. 데이터 품질

2. 확장성

3. 신뢰성

4. 모니터링

1.7 WIA-DATA-004의 접근법

이 표준은 위의 도전과제를 해결하기 위한 체계적인 가이드를 제공합니다:

  1. 표준화된 데이터 형식: 모든 파이프라인이 따라야 할 스키마
  2. 명확한 API: 파이프라인 컴포넌트 간 통신 프로토콜
  3. 멱등성 보장: 재실행해도 안전한 파이프라인
  4. 관찰성: 모든 것을 로깅하고 모니터링
  5. 에러 핸들링: 실패는 당연하다, 복구가 중요하다
  6. 데이터 품질: 빠른 실패, 명확한 검증

홍익인간의 정신으로

데이터 파이프라인은 기술이 아닙니다. 사람들에게 가치를 전달하는 수단입니다. 의사가 정확한 환자 데이터를 받을 때, 기업이 올바른 비즈니스 결정을 내릴 때, 연구자가 신뢰할 수 있는 데이터로 새로운 발견을 할 때 - 그때 우리는 인류를 이롭게 합니다.

1.8 다음 장 미리보기

다음 장에서는 데이터 수집(Extract)의 세계로 들어갑니다:

← 목차 다음: 2장 →