LIME과 지역 설명

LIME 소개

LIME(Local Interpretable Model-agnostic Explanations)은 2016년 Marco Ribeiro, Sameer Singh, Carlos Guestrin이 제안한 기법으로, 국소 근사를 통해 개별 예측을 설명하는 대표적인 모델 비종속 기법이다. 핵심 통찰은 간결하다. 모델이 전역적으로는 복잡하더라도, 특정 예측의 주변이라는 국소 영역에서는 단순하고 해석 가능한 모델을 사용해 그 동작을 이해할 수 있다는 것이다.

지구의 곡률을 이해하는 경우를 생각해 보자. 전역적으로 지구는 구(球)이며, 이를 수학적으로 기술하기는 복잡하다. 그러나 국소적으로, 즉 우리가 사는 동네에서는 지구가 평평하게 보이며 이는 훨씬 단순하다. LIME은 이와 같은 원리를 머신러닝에 적용한다. 복잡한 모델을 국소적으로 이해하기 쉬운 단순 선형 모델로 근사하는 것이다.

LIME 알고리즘

LIME은 특정 예측 주변에 국소 선형 근사를 만드는 네 단계 과정을 통해 작동한다.

1단계: 섭동(Perturbation) - 합성 이웃 생성

설명하려는 인스턴스가 주어지면, LIME은 특성을 무작위로 섭동하여 수천 개의 합성 "이웃"을 생성한다. 표 형식 데이터의 경우, 이는 특성 값을 현실적인 범위로 유지하면서 무작위로 바꾸는 것을 뜻할 수 있다. 이미지의 경우, 슈퍼픽셀을 켜거나 끄는 것을 뜻할 수 있다.

2단계: 예측 - 블랙박스에 질의

섭동된 모든 인스턴스를 블랙박스 모델에 입력하여 예측을 얻는다. LIME은 모델이 내부적으로 어떻게 작동하는지 알 필요가 없으며, 입력-출력 쌍만 있으면 된다.

3단계: 가중치 부여 - 가까운 점 강조

각 섭동 인스턴스에 원본과의 거리에 따라 가중치를 부여한다. 가까운 인스턴스일수록 국소 동작을 이해하는 데 더 관련성이 높으므로 더 높은 가중치를 받는다. 이를 통해 선형 모델이 근사가 부정확할 수 있는 먼 영역이 아니라 바로 인접한 영역에 집중하도록 한다.

4단계: 선형 모델 적합

섭동된 인스턴스를 훈련 데이터로 사용하여 가중 선형 회귀 모델을 적합한다. 이 선형 모델의 계수가 곧 설명이 되며, 각 특성이 예측에 국소적으로 어떤 영향을 미치는지 보여준다.

// LIME 알고리즘 의사코드 (WIA-AI-009)
function explainWithLIME(instance, model, numSamples=5000) {
  const perturbations = [];
  const predictions = [];
  const weights = [];

  // 섭동 생성
  for (let i = 0; i < numSamples; i++) {
    const perturbed = perturbInstance(instance);
    perturbations.push(perturbed);

    // 모델 예측 얻기
    predictions.push(model.predict(perturbed));

    // 원본과의 거리에 따라 가중치 부여
    const distance = computeDistance(instance, perturbed);
    weights.push(kernelWeight(distance));
  }

  // 가중 선형 모델 적합
  const linearModel = fitWeightedLinearRegression(
    perturbations,
    predictions,
    weights
  );

  // 계수가 곧 설명이다
  return linearModel.coefficients;
}

데이터 유형별 LIME

LIME의 모델 비종속적 특성은 여러 데이터 양식에 걸쳐 적용되지만, 각 양식에는 도메인별 조정이 필요하다.

표 형식 LIME

수치형 특성과 범주형 특성을 가진 정형 데이터의 경우:

• 수치형 특성: 원래 값을 중심으로 한 정규분포에서 샘플링하여 섭동한다
• 범주형 특성: 훈련 데이터 분포에 기반하여 다른 범주를 무작위로 선택한다
• 거리 척도: 정규화된 특성 공간에서의 유클리드 거리
• 해석 가능한 표현: 원래 특성 그 자체

이미지 LIME

이미지 분류를 설명하는 데에는 고유한 어려움이 있다. 개별 픽셀은 지나치게 세밀하여 해석할 수 없기 때문이다. LIME은 슈퍼픽셀 분할을 통해 이 문제를 해결한다.

1. 이미지를 슈퍼픽셀(색상/질감이 유사한 응집된 영역)로 분할한다
2. 각 슈퍼픽셀을 이진 특성(존재 또는 부재)으로 취급한다
3. 슈퍼픽셀을 무작위로 켜거나(원본) 끄는(회색 처리/블러) 방식으로 섭동을 생성한다
4. 슈퍼픽셀의 존재 여부로부터 클래스 확률을 예측하는 선형 모델을 적합한다
5. 양의 계수를 가진 슈퍼픽셀을 예측을 "뒷받침하는" 영역으로 강조 표시한다

텍스트 LIME

텍스트 분류 및 감성 분석의 경우:

• 해석 가능한 단위: 문자 n-gram이 아니라 단어 또는 구(句)
• 섭동: 텍스트에서 단어를 무작위로 제거한다
• 이진 표현: 각 단어가 하나의 특성이다(존재/부재)
• 출력: 예측을 가장 강하게 뒷받침하거나 반박하는 단어

주요 파라미터와 튜닝

LIME의 효과는 적절한 파라미터 설정에 달려 있다.

샘플 수

생성할 섭동의 개수이다. 샘플이 많을수록 정확도는 높아지지만 계산 시간이 늘어난다.

• 빠른 디버깅: 100-500개 샘플
• 프로덕션: 5,000-10,000개 샘플
• 중요 애플리케이션: 50,000개 이상 샘플

커널 폭

설명의 "국소성", 즉 거리에 따라 가중치가 얼마나 빠르게 감소하는지를 제어한다. 폭이 작을수록 더 좁고 국소적인 근사가 만들어진다. 폭이 클수록 더 넓은 맥락을 반영하지만 국소적 비선형성을 놓칠 수 있다.

WIA-AI-009 표준은 kernel_width = sqrt(num_features) × 0.75를 시작점으로 삼은 뒤, 검증 결과에 따라 튜닝할 것을 권장한다.

설명에 포함할 특성 수

사용자가 정보에 압도되지 않도록 설명을 가장 중요한 상위 K개 특성(일반적으로 5-10개)으로 제한한다. 특성이 많을수록 완전성이 높아지고, 적을수록 명료성이 높아진다.

섭동 전략

현실적인 섭동을 생성하는 방법:

• 무작위 샘플링: 훈련 데이터 분포에서 샘플링한다
• 가우시안 섭동: 수치형 특성에 잡음을 더한다
• 범주형 샘플링: 훈련 데이터의 경험적 빈도를 사용한다

LIME과 SHAP 비교

LIME과 SHAP는 모두 지역 설명을 제공하지만, 접근 방식과 보장하는 성질이 다르다.

측면	LIME	SHAP
이론적 기반	국소 선형 근사	게임 이론(샤플리 값)
일관성(단조성) 공리	보장되지 않음	만족함이 증명됨
가법성	근사적	정확함(합 = 예측 - 기준값)
속도	명세 벤치마크 평균 약 1,800ms	변형에 따라 다름(명세 벤치마크: TreeSHAP 약 45ms, KernelSHAP 약 2,500ms)
안정성	가변적(샘플링에 따라 달라짐)	더 안정적
해석 가능성	선형 모델, 매우 직관적	기여도 점수, 다소 덜 직관적
모델 비종속성	예	예(단, 특화 버전이 더 빠름)

LIME을 사용해야 할 때

• 모델 비종속 설명이 필요하고 근사를 감수할 수 있을 때
• 최대한의 해석 가능성을 원할 때(선형 모델은 직관적이다)
• 이미지나 텍스트를 설명할 때(LIME은 이에 대한 지원이 탁월하다)
• 방법을 확정하기 전에 빠른 프로토타이핑이 필요할 때

SHAP를 사용해야 할 때

• 이론적으로 보장된 성질(가법성, 일관성 공리)이 필요할 때
• 트리 기반 모델을 사용할 때(TreeSHAP은 매우 효율적이다)
• 합이 예측과 정확히 일치하는 설명이 필요할 때
• 동일한 방법으로 지역 설명과 전역 설명을 모두 얻고자 할 때

프로덕션 환경에서의 LIME 구현

LIME을 효과적으로 배포하려면 몇 가지 실무적 고려 사항에 주의해야 한다.

WIA-AI-009 LIME 구현

import { TabularLIMEExplainer } from 'wia-ai-009';

// 설명기 초기화
const explainer = new TabularLIMEExplainer({
  featureNames: ['credit_score', 'debt_ratio', 'employment_years'],
  numSamples: 5000,
  kernelWidth: Math.sqrt(3) * 0.75,
  numFeatures: 5
});

// 예측 설명
const instance = {
  credit_score: 720,
  debt_ratio: 0.35,
  employment_years: 8
};

const explanation = await explainer.explain(
  instance,
  (x) => model.predict(x)  // 블랙박스 모델 함수
);

// WIA-AI-009 표준화 출력
console.log(explanation);
// {
//   "standard": "WIA-AI-009",
//   "explanation_type": "local",
//   "method": "lime",
//   "instance": {...},
//   "prediction": 0.32,
//   "intercept": 0.15,
//   "feature_weights": {
//     "debt_ratio": 0.42,
//     "credit_score": -0.28,
//     "employment_years": -0.15
//   },
//   "r_squared": 0.89,
//   "num_samples_used": 5000
// }

캐싱 전략

LIME은 설명 하나당 수천 번의 모델 예측을 실행해야 하므로 비용이 클 수 있다. 캐싱이 도움이 된다.

• 결과 캐싱: 동일한 입력에 대한 완성된 설명을 캐시한다
• 섭동 캐싱: 유사한 인스턴스 간에 섭동을 재사용한다
• 모델 예측 캐싱: 이미 본 입력에 대한 모델 출력을 캐시한다

검증과 품질 지표

LIME 설명이 좋은지 어떻게 알 수 있는가? WIA-AI-009 표준은 다음과 같은 품질 지표를 정의한다.

• R² 점수: 선형 모델이 국소 영역에 얼마나 잘 적합하는지(명세의 오류 형식 예시는 수렴 임계값을 0.85로 둔다)
• 안정성: LIME을 여러 번 실행해도 유사한 설명이 나와야 한다(명세 임계값 ≥ 0.80)
• 충실도: 선형 모델이 국소적으로 블랙박스 모델과 밀접하게 일치해야 한다(명세 임계값 ≥ 0.85)

고급 LIME 기법

앵커(Anchor) 설명

LIME 저자들이 후속 연구(2018)에서 제안한 앵커 설명은 커버리지 보장을 갖춘 규칙 기반 설명을 제공한다. 예: "IF credit_score > 700 AND debt_ratio < 0.40 THEN approve(정밀도 95%, 적용 범위 85%)"

서브모듈러 픽 LIME(SP-LIME)

SP-LIME은 개별 인스턴스를 설명하는 대신, 함께 설명했을 때 모델에 대한 전역적 이해를 제공하는 소수의 대표 인스턴스 집합을 선택한다. 이는 지역 설명 가능성과 전역 설명 가능성을 연결한다.

제약 LIME

도메인 지식을 제약 조건으로 반영한다. 예를 들어 "나이는 음수일 수 없다", "확률의 합 = 1" 등이다. 이를 통해 섭동이 현실적으로 유지되고 설명이 알려진 관계를 준수하도록 한다.

한계와 함정

불안정성

LIME은 무작위 샘플링을 사용하므로, 같은 인스턴스에 대해 두 번 실행하면 서로 다른 설명이 나올 수 있다. 이러한 무작위성은 일관성을 기대하는 사용자를 혼란스럽게 할 수 있다. 완화 방법: 샘플 수를 크게 하고 재현성을 위해 난수 시드를 고정한다.

국소성 보정

적절한 커널 폭을 고르는 일은 까다롭다. 너무 작으면 선형 근사가 완벽하게 적합되지만 일반화되지 않을 수 있는 아주 좁은 영역에서만 그렇다. 너무 크면 선형 모델이 국소적 비선형성을 포착하지 못한다.

비현실적 섭동

단순한 섭동은 불가능한 인스턴스를 만들어낼 수 있다. 예: "나이 = 25, 근속 연수 = 40". 이런 인스턴스는 모델을 혼란스럽게 하고 설명 품질을 떨어뜨린다. 해결책: 도메인을 고려한 섭동 전략을 사용한다.

특성 상관관계

특성들이 서로 상관되어 있을 때 이를 독립적으로 섭동하면 비현실적인 조합이 만들어진다. 예를 들어 주택 면적과 침실 수를 독립적으로 무작위 변경하면 "침실이 10개인 1,000제곱피트 주택"이 생성될 수 있다. 고급 LIME 구현은 특성 상관관계를 학습하고 이를 준수함으로써 이 문제를 처리한다.

공정성 감사를 위한 LIME

LIME은 모델의 편향과 불공정성을 탐지하는 데 도움이 될 수 있다.

인구통계적 동등성 테스트

보호 속성(인종, 성별 등)만 다른 인스턴스들에 대해 LIME 설명을 생성한다. 이러한 속성이 높은 가중치를 받는다면, 모델이 부당하게 차별하고 있을 수 있다.

반사실적 공정성

LIME을 사용하여 어떤 변화가 결정을 뒤집는지 파악한다. 그 변화에 보호 속성이 포함된다면, 이는 잠재적인 공정성 문제의 신호이다.

차별적 영향 분석

인구통계 집단 간 LIME 설명을 비교한다. 특성의 중요도가 집단마다 다른가? 그렇다면 모델이 집단을 서로 다르게, 잠재적으로 불공정하게 취급하고 있음을 나타낼 수 있다.

WIA-AI-009 프로토콜과의 통합

WIA-AI-009 표준은 LIME 설명을 요청하고 수신하기 위한 프로토콜을 정의한다.

// 설명 요청 (WIA-AI-009 3단계, XAI-REQUEST-v1)
{
  "protocol": "XAI-REQUEST-v1",
  "request_id": "uuid-v4",
  "timestamp": "2025-01-20T15:44:58Z",
  "model_identifier": {
    "model_id": "loan_classifier_v2.3",
    "version": "2.3.1",
    "deployment": "production"
  },
  "input_data": {
    "credit_score": 720,
    "debt_ratio": 0.35,
    "employment_years": 8
  },
  "explanation_config": {
    "methods": ["lime"],
    "num_features": 5,
    "target_audience": "technical"
  },
  "quality_requirements": {
    "min_fidelity": 0.85,
    "min_stability": 0.80,
    "max_computation_time_ms": 5000
  }
}
// 샘플 수(5,000)와 커널 폭(sqrt(특성 수) × 0.75)은 설명기 구성에서 정한다.

// 설명 응답 (WIA-AI-009 3단계, XAI-RESPONSE-v1)
{
  "protocol": "XAI-RESPONSE-v1",
  "request_id": "uuid-v4",
  "response_id": "uuid-v4",
  "timestamp": "2025-01-20T15:45:00Z",
  "status": "success",
  "prediction": {
    "value": 0.32,
    "class": "low_risk",
    "confidence": 0.87
  },
  "explanations": [
    {
      "method": "lime",
      "explanation": {
        "intercept": 0.15,
        "feature_weights": {
          "debt_ratio": 0.42,
          "credit_score": -0.28,
          "employment_years": -0.15
        }
      },
      "quality_metrics": {
        "fidelity": 0.91,
        "r_squared": 0.89
      }
    }
  ],
  "metadata": {
    "computation_time_ms": 1250,
    "model_version_used": "2.3.1"
  }
}