제1장: 연합학습 소개

프라이버시 보호 협력적 기계학습의 기본 원리 마스터하기

연합학습이란 무엇인가?

연합학습(Federated Learning, FL)은 로컬 데이터 샘플을 보유한 여러 분산 장치 또는 서버에서 원시 데이터를 교환하지 않고 협력적 모델 학습을 가능하게 하는 혁신적인 기계학습 패러다임입니다. 이 접근 방식은 분산 데이터 소스의 집단 지능으로부터 여전히 이익을 얻으면서 중요한 프라이버시 문제를 해결합니다.

연합학습의 기본 원칙은 간단하지만 강력합니다: 데이터를 코드로 가져오는 대신 코드를 데이터로 가져옵니다. 학습을 위해 데이터를 한 곳에 중앙집중화하는 대신, 학습 프로세스가 데이터가 있는 곳으로 분산되고 모델 업데이트만 공유됩니다.

연합학습의 동기

기존 ML의 프라이버시 문제

기존의 중앙집중식 기계학습은 모든 학습 데이터를 한 곳에 수집해야 합니다. 이 접근 방식은 심각한 프라이버시 문제를 야기합니다:

• 데이터 노출: 민감한 개인 정보를 중앙 서버에 업로드해야 함
• 규제 준수: GDPR, HIPAA 및 기타 규정이 데이터 이동을 제한
• 신뢰 문제: 사용자는 원시 데이터로 조직을 신뢰해야 함
• 보안 위험: 중앙집중식 데이터 저장소는 공격자에게 매력적인 목표가 됨
• 경쟁 장벽: 조직은 독점 데이터 공유를 꺼림

데이터 사일로 문제

많은 영역에서 가치 있는 데이터는 데이터를 공유할 수 없거나 공유하지 않을 여러 주체에 분산되어 있습니다:

• 의료: 병원에 분산된 환자 기록
• 금융: 은행 내에 격리된 거래 데이터
• 모바일 장치: 수십억 대의 스마트폰에 있는 개인 데이터
• IoT: 개별 장치에 갇힌 센서 데이터

연합학습은 데이터 주권을 손상시키지 않고 이러한 사일로를 허물어 데이터 소유권과 통제를 유지하면서 협력 학습을 가능하게 합니다.

연합학습의 작동 방식

기본 워크플로

일반적인 연합학습 시스템은 다음 반복 프로세스를 통해 작동합니다:

1. 초기화: 중앙 서버가 전역 모델을 초기화
2. 배포: 모델을 참여 클라이언트(장치 또는 조직)로 전송
3. 로컬 학습: 각 클라이언트는 로컬 데이터에서 모델을 학습
4. 업데이트 계산: 클라이언트가 모델 업데이트(그래디언트 또는 가중치)를 계산
5. 보안 전송: 업데이트를 암호화하여 서버로 전송
6. 집계: 서버가 모든 업데이트를 개선된 전역 모델로 집계
7. 반복: 수렴할 때까지 2-6단계 반복

연합 평균화 알고리즘

가장 일반적인 연합학습 알고리즘은 McMahan 등이 2017년에 제안한 연합 평균화(FedAvg)입니다:

알고리즘: 연합 평균화 (FedAvg)

입력:
  - K개의 로컬 데이터셋 D₁, D₂, ..., Dₖ를 가진 클라이언트
  - 학습률 η
  - 로컬 에포크 수 E
  - 배치 크기 B
  - 라운드 수 T

전역 모델 파라미터 w₀ 초기화

라운드 t = 1부터 T까지:
    서버:
        K개 클라이언트의 부분집합 Sₜ 샘플링
        Sₜ의 모든 클라이언트에게 wₜ 전송

    각 클라이언트 k ∈ Sₜ 병렬로:
        wₖᵗ⁺¹ ← ClientUpdate(k, wₜ)
        wₖᵗ⁺¹을 서버로 전송

    서버:
        wₜ₊₁ ← Σ (nₖ/n) * wₖᵗ⁺¹
        # 로컬 데이터셋 크기별 가중 평균

ClientUpdate(k, w):
    에포크 e = 1부터 E까지:
        Dₖ의 각 배치 b에 대해:
            w ← w - η∇ℓ(w; b)
    return w

이 알고리즘은 로컬 계산과 전역 조정의 균형을 우아하게 맞춥니다. 각 클라이언트는 통신하기 전에 여러 에포크의 로컬 학습을 수행하여 필요한 통신 라운드 수를 줄입니다.

연합학습의 유형

크로스-디바이스 연합학습

작은 로컬 데이터셋을 가진 수백만 또는 수십억 개의 장치(스마트폰, IoT 센서) 포함:

• 대규모 클라이언트 수 (10⁶ ~ 10¹⁰)
• 클라이언트당 작은 데이터셋
• 높은 클라이언트 이탈 및 불안정성
• 제한된 장치 리소스 (CPU, 메모리, 배터리)
• 간헐적 연결
• 예: 모바일 키보드 예측, 음성 비서, 건강 추적

크로스-사일로 연합학습

더 큰 데이터셋을 가진 여러 조직 또는 데이터 사일로 포함:

• 적은 수의 클라이언트 (2 ~ 100)
• 클라이언트당 대규모 데이터셋
• 안정적인 연결을 가진 신뢰할 수 있는 참가자
• 더 많은 계산 리소스 사용 가능
• 강력한 프라이버시 및 법적 요구사항
• 예: 다중 병원 의료 연구, 은행 간 사기 탐지, 공급망 최적화

연합학습의 장점

프라이버시 보호

가장 중요한 장점은 프라이버시 보호입니다. 원시 데이터는 출처를 절대 떠나지 않아 데이터 유출 및 무단 액세스의 위험을 줄입니다. 이를 통해 GDPR, HIPAA, CCPA와 같은 엄격한 데이터 보호 규정을 준수할 수 있습니다.

데이터 주권

조직과 개인은 데이터에 대한 완전한 통제를 유지합니다. 데이터 소유권을 포기하거나 경쟁 경계를 위반하지 않고 협력 학습에 참여할 수 있습니다.

대역폭 요구사항 감소

모델 업데이트만 전송됩니다(일반적으로 원시 데이터보다 훨씬 작음). 예를 들어, 모델 업데이트는 10MB일 수 있지만 학습 데이터는 테라바이트일 수 있습니다.

연합학습의 과제

통신 효율성

통신은 주요 병목 현상이 될 수 있으며, 특히 크로스-디바이스 시나리오에서 그렇습니다. 과제는 다음과 같습니다:

• 모바일 네트워크의 제한된 대역폭
• 분산 시스템의 높은 지연 시간
• 데이터 전송 비용
• 배터리 구동 장치의 에너지 소비

통계적 이질성 (비IID 데이터)

IID(독립 동일 분포) 데이터를 가진 중앙집중식 학습과 달리, 연합학습은 다음을 처리해야 합니다:

• 비IID 데이터: 각 클라이언트의 데이터는 다른 분포를 따름
• 불균형 데이터: 클라이언트마다 데이터 양이 크게 다름
• 레이블 분포 편향: 일부 클라이언트는 특정 클래스만 가질 수 있음
• 특성 분포 편향: 입력 특성이 클라이언트 간에 다름

실제 응용 사례

Gboard (Google 키보드)

Google의 Gboard는 연합학습을 사용하여 다음 단어 예측 및 이모지 제안을 개선합니다. 수백만 명의 사용자가 타이핑 행동에 대해 로컬 모델을 학습하고, 업데이트를 집계하여 Google이 사용자가 입력한 내용을 보지 않고도 전역 모델을 개선합니다.

의료 연구

병원은 민감한 의료 기록을 공유하지 않고 환자 데이터에 대한 진단 모델을 학습하기 위해 협력합니다. 예를 들어, 기관 전체에서 환자 악화를 예측하거나 의료 영상 분석을 개선합니다.

금융 사기 탐지

은행은 거래 세부 정보나 고객 정보를 공개하지 않고 협력적으로 사기 탐지 모델을 학습하여 기관 전체의 사기 패턴에 대한 집단 지식으로부터 이익을 얻습니다.

기존 기계학습과의 비교

측면	기존 ML	연합학습
데이터 위치	중앙 서버	클라이언트 전체에 분산
프라이버시	원시 데이터 노출	원시 데이터 비공개 유지
통신	일회성 데이터 업로드	반복적 모델 교환
데이터 분포	IID (일반적으로)	비IID (일반적)
학습 속도	빠름 (중앙집중식 GPU)	느림 (분산 장치)
확장성	서버 용량에 제한됨	클라이언트 인구로 확장
규제 준수	복잡함 (데이터 이동)	더 쉬움 (데이터 로컬 유지)