설명 유형과 프레임워크

설명 분류 체계의 이해

설명 가능한 AI(XAI)는 다양한 방법, 기법, 접근법이 어우러진 생태계를 이룬다. 이 복잡성을 헤쳐 나가려면 여러 차원에 따라 설명을 분류하는 견고한 분류 체계가 필요하다. 이 장은 서로 다른 설명 유형을 이해하고 각각을 언제 적용해야 하는지 판단하기 위한 포괄적인 프레임워크를 제시한다.

이 장은 설명 방법을 몇 가지 핵심 축에 따라 정리한다. 범위(지역 대 전역), 모델 의존성(모델 특화 대 모델 비종속), 설명 형식(특성 중요도, 규칙, 예시, 반사실), 시간적 특성(정적 대 대화형)이 그것이다. 이러한 차원을 이해하면 실무자는 자신의 구체적인 맥락에 맞는 방법을 선택할 수 있다.

지역 설명 대 전역 설명

XAI에서 가장 근본적인 구분은 지역 설명과 전역 설명의 구분이다. 이 이분법은 모델 동작에 대해 우리가 던질 수 있는 서로 다른 질문을 반영한다.

지역 설명: 개별 예측의 이해

지역 설명은 "모델이 왜 이 특정 입력에 대해 이러한 예측을 내렸는가?"라는 질문에 답한다. 지역 설명은 단일 인스턴스에 초점을 맞추고, 특성 공간의 그 지점에서 모델이 보이는 동작을 설명한다.

지역 설명은 다음과 같은 경우에 매우 중요하다.

• 개인 의사결정: 사람들이 자신에게 직접 영향을 미치는 결과를 이해하도록 돕는다
• 규제 준수: GDPR의 설명을 요구할 권리와 같은 요건을 충족한다
• 사안별 검토: 자동화된 결정에 대한 인간의 감독을 가능하게 한다
• 오류 분석: 모델이 특정 예시에서 왜 실패했는지 이해한다
• 신뢰 구축: 개별 결정이 합리적임을 보여 준다

전역 설명: 모델 동작의 이해

전역 설명은 "모델은 전반적으로 어떻게 동작하는가?"라는 질문에 답한다. 전역 설명은 전체 입력 공간 또는 그 상당 부분에 걸친 모델의 결정 패턴을 특징짓는다.

전역 설명은 다음을 지원한다.

• 모델 검증: 모델이 합리적인 패턴을 학습했는지 확인한다
• 편향 탐지: 보호 속성에 대한 원치 않는 의존성을 식별한다
• 과학적 발견: 데이터로부터 새로운 통찰을 얻는다
• 모델 비교: 서로 다른 모델이 어떻게 서로 다른 절충을 하는지 이해한다
• 규제 준수: 전반적인 공정성과 비차별성을 입증한다

지역과 전역의 연결

지역 설명과 전역 설명은 서로 다른 목적을 수행하지만 서로 연결되어 있다. 다수의 지역 설명을 집계하면 전역적 통찰을 얻을 수 있고, 전역 패턴은 지역 결정을 맥락 속에서 이해하도록 돕는다. SHAP와 같은 일부 방법은 개별 예측에 대한 지역 설명과 집계를 통한 전역 설명을 모두 제공한다.

모델 비종속 방법 대 모델 특화 방법

또 하나의 중요한 차원은 기반 모델 아키텍처와의 관계에 따라 방법을 구분한다.

모델 비종속 접근법

모델 비종속 방법은 AI 모델을 블랙박스로 취급한다. 이 방법은 모델 내부 구조를 이해할 필요 없이 입력과 출력의 관계를 관찰하는 방식으로 작동한다. 이러한 "밖에서 안을 들여다보는" 접근법은 상당한 이점을 제공한다.

• 보편적 적용성: 동일한 설명 방법이 모든 모델 유형에 적용된다
• 유연성: 서로 다른 모델 아키텍처 간에 설명을 비교할 수 있다
• 미래 대비성: 새로운 모델 유형이 등장해도 방법이 여전히 유용하다
• 단순성: 복잡한 모델 내부를 이해할 필요가 없다

널리 쓰이는 모델 비종속 방법으로는 LIME(Local Interpretable Model-agnostic Explanations), SHAP(모델 비종속 모드로 사용할 때), 순열 특성 중요도(permutation feature importance), 부분 의존도 플롯(partial dependence plot)이 있다.

모델 특화 접근법

모델 특화 방법은 모델의 내부 구조에 대한 지식을 활용하여 더 깊은 통찰을 제공한다. 모델 유형마다 제공하는 설명의 기회가 다르다.

모델 유형	특화 설명 방법	장점
선형 모델	계수 해석, 표준화 계수	직접적이며 수학적으로 정확함
의사결정 트리	경로 추적, 규칙 추출	직관적인 if-then 논리
신경망	어텐션 가중치, 현저성 맵(saliency map), 층별 관련성 전파(LRP)	시각적이며 중요한 영역을 강조함
트리 앙상블	TreeSHAP, 특성 상호작용	빠르며 비선형 효과를 포착함

모델 특화 방법은 더 효율적이고 더 풍부한 통찰을 제공할 수 있지만, 모델 유형마다 서로 다른 구현이 필요하다는 비용이 따른다.

설명 출력 형식

설명은 다양한 형식으로 제시될 수 있으며, 각 형식은 서로 다른 맥락과 청중에 적합하다. 이 책은 이를 다섯 가지 주요 형식 범주로 나눈다. WIA-AI-009 명세(1단계)는 이 가운데 지역·전역·반사실 설명의 데이터 형식을 표준화한다.

1. 특성 중요도 설명

가장 일반적인 설명 형식은 입력 특성에 중요도 점수를 부여하여 각 특성이 예측에 얼마나 기여했는지를 나타낸다. 이는 순위 목록, 막대 차트 또는 수치 기여도로 제시될 수 있다.

// 기여도 벡터 형식 (WIA-AI-009 1단계 AttributionVector)
{
  "explanation_type": "local",
  "method": "shap",
  "explanation": {
    "attributions": [
      { "feature_name": "credit_score", "attribution_value": 0.42,
        "direction": "positive", "rank": 1 },
      { "feature_name": "debt_ratio", "attribution_value": -0.35,
        "direction": "negative", "rank": 2 }
      // ...
    ]
  }
}

2. 규칙 기반 설명

규칙 기반 설명은 모델의 논리를 사람이 읽을 수 있는 if-then 문장으로 표현한다. 규칙은 의사결정 트리와 가장 자연스럽게 연관되지만, 어떤 모델에서든 추출할 수 있다.

3. 예시 기반 설명

예시 기반 방법은 유사한 훈련 예시나 프로토타입을 참조하여 예측을 설명한다. "이 종양은 악성으로 분류되었다. 이 종양이 다섯 개의 훈련 예시와 매우 유사하며, 그 예시들이 모두 악성이었기 때문이다."

관련 기법은 다음과 같다.

• 영향력 있는 인스턴스: 모델의 동작에 가장 큰 영향을 미친 훈련 예시
• 프로토타입: 각 클래스를 대표하는 예시
• 비판 예시(criticism): 모델이 잘 처리하지 못하여 한계를 드러내는 예시
• 최근접 이웃: 훈련 데이터에서 가장 유사한 인스턴스

4. 반사실 설명

반사실(counterfactual)은 "만약 ~라면" 질문, 즉 "모델이 다른 예측을 내리려면 무엇이 바뀌어야 하는가?"에 답한다. 반사실은 본질적으로 실행 가능하며, 사용자가 원하는 결과를 얻으려면 어떻게 해야 하는지 보여 준다.

효과적인 반사실은 다음과 같아야 한다.

• 최소성: 가능한 한 적은 수의 특성만 변경한다
• 실행 가능성: 사용자가 실제로 실행할 수 있는 변경을 제안한다
• 현실성: 그럴듯한 특성 범위 안에 머문다
• 희소성: 불필요한 복잡성을 피한다

5. 시각적 설명

컴퓨터 비전과 같은 분야에서 시각적 설명은 이미지의 어느 부분이 예측에 영향을 미쳤는지 강조한다. 관련 기법으로는 현저성 맵, 어텐션 히트맵, 개념 활성화 벡터(concept activation vector)가 있다.

내재적 해석 가능성 대 사후 해석 가능성

이 차원은 본래부터 해석 가능한 모델과 훈련 후에 적용하는 설명 방법을 구분한다.

내재적으로 해석 가능한 모델

일부 모델 아키텍처는 처음부터 해석 가능하도록 설계된다. 이러한 모델의 예측은 그 구조를 직접 살펴봄으로써 이해할 수 있다.

• 선형/로지스틱 회귀: 각 계수가 특성의 효과를 보여 준다
• 의사결정 트리: 예측이 명시적인 결정 경로를 따른다
• 규칙 목록: 순서가 정해진 if-then 규칙을 차례로 평가한다
• 일반화 가법 모델(GAM): 단변량 함수들의 합
• 어텐션 기반 신경망: 내장된 어텐션 가중치가 주목 영역을 보여 준다

사후 설명 방법

사후(post-hoc) 방법은 훈련된 모델에 적용되어 그 동작을 설명한다. 이 방법은 블랙박스를 포함한 모든 모델과 함께 작동하지만, 그 설명은 필연적으로 근사치이다.

핵심 절충은 다음과 같다. 내재적 해석 가능성은 설명이 모델의 실제 추론을 정확히 반영함을 보장하지만, 모델의 표현력을 제한할 수 있다. 사후 방법은 임의로 복잡한 모델과도 작동하지만, 그 설명은 모델 동작을 완전히 포착하지 못할 수도 있는 근사치이다.

정적 설명 대 대화형 설명

설명은 정적인 요약으로 제시될 수도 있고, 사용자가 탐색할 수 있는 대화형 도구로 제시될 수도 있다.

정적 설명

정적 설명은 모델 동작에 대한 고정된 요약을 제공한다. 이는 공식 문서, 규제 제출 자료, 그리고 사용자에게 일관되고 재현 가능한 설명이 필요한 상황에 적합하다.

대화형 설명

대화형 도구는 사용자가 모델 동작을 동적으로 탐색할 수 있게 한다. 입력을 조정하여 예측이 어떻게 달라지는지 확인하거나, 특정 특성을 세부적으로 파고들거나, 하위 모집단별로 필터링할 수 있다. 이는 더 깊은 이해와 명확하지 않은 패턴의 발견을 지원한다.

이 책은 전문 사용자(데이터 과학자, 감사자)에게는 대화형 설명을 권장하는 한편, 최종 사용자에게는 복잡성으로 부담을 주지 않도록 정적 요약을 권장한다.

시간적 측면: 모델 변화의 설명

머신러닝 모델은 재훈련, 온라인 학습 또는 개념 드리프트(concept drift)를 통해 시간에 따라 변한다. 시간적 설명은 모델 동작이 어떻게, 그리고 왜 변화하는지를 다룬다.

버전 간 비교

새로운 모델 버전을 배포할 때 이해관계자는 무엇이 바뀌었는지 이해하기를 원한다. 새 모델이 다른 패턴을 학습했는가? 예측이 크게 달라진 하위 모집단이 있는가?

시간에 따른 특성 중요도

온라인 학습 환경에서는 데이터 분포가 변함에 따라 특성 중요도가 달라질 수 있다. 이러한 변화를 추적하면 개념 드리프트와 데이터 품질 문제를 탐지하는 데 도움이 된다.

청중별 설명 설계

효과적인 설명은 청중에 맞춰 조정된다. WIA-AI-009 명세(3단계)의 요청 형식은 대상 청중을 technical, business, enduser, regulatory 네 가지로 지정하며, 이 책은 여기에 도메인 전문가를 더해 다섯 가지 설명 프로파일로 설명한다.

기술 청중 프로파일

대상: 데이터 과학자, ML 엔지니어, 연구자
형식: 상세한 특성 기여도, 통계적 척도, 수학적 공식화
시각화: 기술적 플롯(부분 의존도, SHAP 요약 플롯, 혼동 행렬)
깊이: 신뢰 구간, p-값, 알고리즘 매개변수를 포함한 전체 세부 사항

도메인 전문가 프로파일

대상: 의사, 금융 분석가, 해당 분야 전문가
형식: 도메인 관련 특성, 전문가 추론과의 비교
시각화: 도메인 특화 표현(강조 표시가 있는 의료 영상, 금융 차트)
깊이: 도메인 지식에 비추어 검증하는 데 중점

비즈니스 이해관계자 프로파일

대상: 경영진, 제품 관리자, 의사결정자
형식: 고수준 요약, 비즈니스 지표, 위험 평가
시각화: 경영진 대시보드, ROI 분석
깊이: 기술적 세부 사항이 아닌 전략적 함의

최종 사용자 프로파일

대상: AI 결정의 영향을 받는 사람들
형식: 쉬운 언어, 실행 가능한 권고
시각화: 간단한 차트, 아이콘, 자연어
깊이: 기술적 의미의 "왜"가 아니라 "무엇"과 "어떻게 대응할 것인가"에 초점

규제/감사 프로파일

대상: 감사자, 규제 기관, 준법 감시 담당자
형식: 포괄적 문서, 감사 추적, 공정성 지표
시각화: 규정 준수 대시보드, 비차별성에 대한 통계적 증거
깊이: 법적·윤리적 준수를 검증하기에 충분한 세부 사항

다층 설명 계층 구조

복잡한 시스템은 흔히 여러 추상화 수준에서의 설명을 필요로 한다. 이 책은 다음과 같은 계층적 접근법을 권장한다. 명세의 요청 형식에 있는 세분도(granularity: high, medium, low) 설정으로 이러한 수준 차이를 표현할 수 있다.

1. 수준 1: 예측 요약
   "귀하의 대출이 거절되었습니다" 또는 "87% 신뢰도로 악성 종양이 탐지되었습니다"
2. 수준 2: 주요 요인
   "주된 이유: 높은 부채 비율, 짧은 재직 기간"
3. 수준 3: 상세 기여도
   수치 중요도 점수, 반사실, 특성 상호작용
4. 수준 4: 기술적 심층 분석
   SHAP 값, 신뢰 구간, 유사한 훈련 예시, 모델 내부

사용자는 필요에 따라 수준을 따라 내려가며 세부 내용을 확인할 수 있다. 최종 사용자에게는 대개 수준 1~2만 필요하지만, 감사자는 네 수준 모두를 요구할 수 있다.

복합 설명

실제 애플리케이션에서는 여러 설명 유형을 결합하는 것이 유익한 경우가 많다. 포괄적인 설명에는 다음이 포함될 수 있다.

• 특성 중요도(무엇이 가장 중요했는가)
• 반사실(결과를 어떻게 바꿀 수 있는가)
• 유사 예시(과거 사례와 비교하면 어떠한가)
• 신뢰도 평가(예측이 얼마나 확실한가)
• 시간적 맥락(이 예측이 이전 모델 버전과 비교하면 어떠한가)

WIA-AI-009 명세의 응답 형식(XAI-RESPONSE-v1)은 explanations 배열에 여러 방법의 설명을 담고, 요청 시 include_counterfactuals로 반사실을 함께 받을 수 있게 하여, 사용자가 여러 번 따로 질의하지 않고도 포괄적인 이해를 얻도록 한다.

맥락에 따른 설명 선택

모든 설명이 모든 상황에 적합한 것은 아니다. 다음 표는 맥락에 따라 설명 방법을 선택하기 위한 기준을 정리한 것이다. 모델 유형별 방법 선택은 명세 2단계의 방법 선택 지침을 함께 참고한다.

맥락	권장 접근법	근거
개별 결정에 대한 이의 제기	지역 + 반사실	영향을 받는 개인에게 실행 가능한 안내 제공
모델 검증	전역 + 특성 상호작용	모델 동작에 대한 포괄적 이해
편향 감사	하위 집단 분석 + 공정성 지표	인구 집단 간 차별적 영향(disparate impact) 탐지
실시간 의사결정 지원	빠른 지역 방법(트리 모델의 TreeSHAP, 어텐션, 사전 계산·캐시된 설명)	낮은 지연 시간 요건
과학적 발견	전역 + 도메인 시각화	데이터로부터 새로운 통찰 발굴