데이터 정책 및 표준

데이터 품질 정책 예시

정책 선언:
"모든 기업 데이터는 의도된 사용에 적합한 정의된 품질 표준을 충족해야 합니다. 데이터 소유자는 자신의 도메인 내에서 데이터 품질을 보장할 책임이 있습니다."

주요 요구 사항:

• 품질 차원 정의: 완전성, 정확성, 일관성, 적시성, 유효성, 유일성 측정
• 메트릭 수립: 각 품질 차원에 대한 측정 가능한 지표 및 임계값 설정
• 자동화된 모니터링: 품질 규칙을 자동으로 검증하는 시스템 구현
• 문제 해결 프로세스: 품질 문제 발견 시 에스컬레이션 및 해결 절차
• 정기 보고: 이해관계자에게 품질 대시보드 및 보고서 제공

# 데이터 품질 검증 예제 (Python)
import pandas as pd
from datetime import datetime, timedelta

class DataQualityValidator:
    def __init__(self, df):
        self.df = df
        self.issues = []

    def check_completeness(self, column, threshold=0.95):
        """완전성: 필수 필드의 누락 비율 확인"""
        completeness = 1 - (self.df[column].isnull().sum() / len(self.df))
        if completeness < threshold:
            self.issues.append({
                'rule': f'{column} 완전성',
                'actual': f'{completeness:.2%}',
                'expected': f'>={threshold:.0%}',
                'status': 'FAIL'
            })
        return completeness >= threshold

    def check_uniqueness(self, column):
        """유일성: 중복 레코드 확인"""
        duplicates = self.df[column].duplicated().sum()
        if duplicates > 0:
            self.issues.append({
                'rule': f'{column} 유일성',
                'actual': f'{duplicates}건 중복',
                'expected': '중복 없음',
                'status': 'FAIL'
            })
        return duplicates == 0

    def check_timeliness(self, date_column, max_age_days=30):
        """적시성: 데이터 최신성 확인"""
        latest_date = pd.to_datetime(self.df[date_column]).max()
        age_days = (datetime.now() - latest_date).days
        if age_days > max_age_days:
            self.issues.append({
                'rule': f'{date_column} 적시성',
                'actual': f'{age_days}일 경과',
                'expected': f'<={max_age_days}일',
                'status': 'FAIL'
            })
        return age_days <= max_age_days

    def check_validity(self, column, valid_values):
        """유효성: 허용된 값 범위 확인"""
        invalid = ~self.df[column].isin(valid_values)
        invalid_count = invalid.sum()
        if invalid_count > 0:
            self.issues.append({
                'rule': f'{column} 유효성',
                'actual': f'{invalid_count}건 유효하지 않음',
                'expected': '모든 값이 유효 범위 내',
                'status': 'FAIL'
            })
        return invalid_count == 0

    def generate_report(self):
        """품질 검증 보고서 생성"""
        if not self.issues:
            print("✅ 모든 품질 검사 통과")
        else:
            print(f"❌ {len(self.issues)}개 품질 문제 발견:\n")
            for issue in self.issues:
                print(f"  - {issue['rule']}: {issue['actual']} (기대: {issue['expected']})")

주요 보안 정책 요소

• 데이터 분류: 민감도에 따른 분류 체계 (공개, 내부, 기밀, 극비)
• 암호화 요구사항:
  • 저장 데이터(Data at Rest): AES-256 암호화
  • 전송 데이터(Data in Transit): TLS 1.3 이상
  • 처리 데이터(Data in Use): 암호화 메모리 사용
• 접근 제어:
  • 최소 권한 원칙(Principle of Least Privilege)
  • 역할 기반 접근 제어(RBAC)
  • 다중 인증(MFA) 필수
• 모니터링 및 감사: 모든 데이터 액세스 로깅 및 정기 검토
• 인시던트 대응: 보안 침해 시 대응 절차 및 알림 체계

데이터 보존 정책 예시

정책 선언:
"데이터는 비즈니스, 법적 및 규제 요구 사항을 충족하는 데 필요한 최소 기간 동안 보존한 다음 안전하게 폐기해야 합니다."

보존 일정 (한국 기준):

데이터 유형	보존 기간	법적 근거
고객 거래 기록	5년	전자상거래법, 국세기본법
직원 인사 기록	퇴직 후 3년	근로기준법
회계 장부 및 증빙	10년	상법, 국세기본법
계약서 및 법률 문서	계약 종료 후 10년	상법, 민법
웹사이트 방문 로그	3개월	통신비밀보호법
마케팅 동의 정보	동의 철회 또는 5년	개인정보보호법

폐기 방법:

• 전자 파일: 복구 불가능한 완전 삭제 (Secure Erase)
• 데이터베이스: 논리적 삭제 후 물리적 삭제, 백업에서도 제거
• 종이 문서: 파쇄 또는 소각
• 저장 매체: 물리적 파괴 또는 전문 폐기 업체 위탁

# RBAC (역할 기반 접근 제어) 구현 예제
class AccessControlPolicy:
    def __init__(self):
        self.roles = {
            'data_analyst': {
                'permissions': ['read', 'query'],
                'data_classifications': ['public', 'internal'],
                'requires_mfa': False
            },
            'data_engineer': {
                'permissions': ['read', 'write', 'query', 'transform'],
                'data_classifications': ['public', 'internal', 'confidential'],
                'requires_mfa': True
            },
            'data_admin': {
                'permissions': ['read', 'write', 'delete', 'grant'],
                'data_classifications': ['public', 'internal', 'confidential', 'restricted'],
                'requires_mfa': True,
                'requires_approval': True
            }
        }

    def check_access(self, user_role, action, data_classification):
        """접근 권한 확인"""
        if user_role not in self.roles:
            return False, "유효하지 않은 역할"

        role_config = self.roles[user_role]

        # 권한 확인
        if action not in role_config['permissions']:
            return False, f"{action} 권한 없음"

        # 데이터 분류 확인
        if data_classification not in role_config['data_classifications']:
            return False, f"{data_classification} 데이터 접근 불가"

        # 추가 요구사항 확인
        requirements = []
        if role_config.get('requires_mfa'):
            requirements.append("MFA 인증 필요")
        if role_config.get('requires_approval'):
            requirements.append("관리자 승인 필요")

        return True, requirements if requirements else "접근 허용"

# 사용 예시
acl = AccessControlPolicy()
allowed, message = acl.check_access('data_analyst', 'read', 'confidential')
print(f"접근 {'허용' if allowed else '거부'}: {message}")

표준 데이터 형식

• 날짜: ISO 8601 형식 (YYYY-MM-DD)
  • 예: 2025-01-15
  • ✗ 피해야 할 형식: 2025/01/15, 01-15-2025, 15.01.2025
• 시간: 24시간 형식, UTC 또는 시간대 포함 (HH:MM:SS±HH:MM)
  • 예: 14:30:00+09:00 (KST)
  • 예: 05:30:00Z (UTC)
• 전화번호: E.164 형식 또는 지역별 표준
  • 국제: +82-10-1234-5678
  • 국내: 010-1234-5678
• 우편번호: 국가별 표준
  • 한국: 5자리 (06234)
  • 미국: 5자리 또는 ZIP+4 (12345-6789)
• 통화: ISO 4217 통화 코드
  • 예: KRW 1,000,000 / USD 1,000.00 / EUR 1.000,00
  • 숫자값과 통화 코드 분리 저장 권장
• 언어/국가: ISO 639-1 / ISO 3166-1
  • 언어: ko (한국어), en (영어), ja (일본어)
  • 국가: KR (대한민국), US (미국), JP (일본)
• 불리언: true/false 또는 1/0
  • ✓ 권장: true, false, 1, 0
  • ✗ 비권장: yes/no, Y/N, T/F (일관성 없음)

정책 수명 주기

1. 1단계 - 필요성 식별:
   • 비즈니스 요구사항 분석
   • 규제 의무사항 검토
   • 리스크 평가
   • 이해관계자 인터뷰
2. 2단계 - 조사 및 벤치마킹:
   • 산업 표준 및 모범 사례 연구
   • 유사 조직의 정책 참고
   • 규정 및 법률 요구사항 분석
   • 기술적 실현 가능성 평가
3. 3단계 - 정책 초안 작성:
   • 명확하고 간결한 정책 선언문 작성
   • 측정 가능한 요구사항 정의
   • 적용 범위 및 예외사항 명시
   • 책임과 역할 할당
4. 4단계 - 이해관계자 검토:
   • 영향을 받는 부서와 협의
   • 법무팀 검토
   • IT 및 보안팀 기술 검토
   • 피드백 수집 및 반영
5. 5단계 - 승인:
   • 거버넌스 위원회 제출
   • 경영진 승인
   • 공식 문서화
   • 버전 관리
6. 6단계 - 커뮤니케이션 및 교육:
   • 전사 공지
   • 교육 자료 개발
   • 워크샵 및 트레이닝 실시
   • FAQ 및 지원 채널 제공
7. 7단계 - 구현:
   • 기술적 통제 배포
   • 프로세스 통합
   • 모니터링 시스템 설정
   • 준수 확인 메커니즘 구축
8. 8단계 - 모니터링 및 시행:
   • 준수율 측정
   • 위반 사항 추적
   • 정기 감사
   • 시정 조치
9. 9단계 - 검토 및 업데이트:
   • 연간 정책 검토
   • 환경 변화 반영 (법규, 기술, 비즈니스)
   • 효과성 평가
   • 개선 사항 적용

핵심 요점

• 정책 계층: 정책(What) → 표준(How) → 절차(Details) → 가이드라인(Recommendations)의 계층적 구조
• 5대 핵심 정책: 품질, 보안, 프라이버시, 보존, 접근 정책이 데이터 거버넌스의 기반
• 표준화: 명명 규칙, 데이터 형식, 데이터 사전을 통한 일관성 확보
• 정책 수명 주기: 식별 → 조사 → 작성 → 검토 → 승인 → 교육 → 구현 → 모니터링 → 업데이트
• 성공 요인: 경영진 후원, 명확성, 실용성, 자동화, 교육, 지속적 개선
• 데이터 사전: 조직의 데이터 자산에 대한 공통 이해와 정의 제공
• 준수 관리: 정책은 만드는 것만큼 시행하고 모니터링하는 것이 중요