설명 가능 AI 소개

AI에서 설명 가능성이 필요한 이유

인공지능은 영화 추천에서 질병 진단까지, 대출 승인에서 자율주행 차량 운행까지 현대 생활의 모든 영역에 스며들었다. 이러한 시스템이 점점 더 중대한 결정을 내리게 되면서 근본적인 질문이 제기된다. 우리는 이해하지 못하는 것을 신뢰할 수 있는가?

설명 가능 AI(Explainable AI, XAI)는 이 질문에 대한 핵심적인 응답으로 등장했다. XAI는 모델이 불투명한 과정을 통해 결정을 내리는 전통적인 "블랙박스" 방식의 AI에서, AI 시스템이 자신의 출력을 정당화하고 설명하며 그에 대해 책임을 질 수 있는 투명한 프레임워크로의 패러다임 전환을 뜻한다.

블랙박스 문제

현대 머신러닝 모델, 특히 심층 신경망은 흔히 블랙박스처럼 작동한다. 이들 모델은 수백만 또는 수십억 개의 매개변수를 거쳐 방대한 데이터를 처리하며, 모델을 만든 사람조차 완전히 추적할 수 없는 복잡한 수학적 변환을 통해 결정에 도달한다. 이러한 모델은 놀라운 정확도를 달성하지만, 그 불투명성은 몇 가지 중대한 과제를 낳는다.

• 신뢰 결핍: 사용자와 이해관계자는 이해할 수 없는 시스템을 신뢰하기 어렵다
• 디버깅의 어려움: 모델 오류를 찾아내고 수정하는 일이 거의 불가능해진다
• 편향 탐지: 훈련 데이터에 숨은 편향이 탐지되지 않은 채 차별을 영속시킬 수 있다
• 규제 준수: 이제 많은 관할권에서 자동화된 결정에 대한 설명 가능성을 의무화하고 있다
• 과학적 이해: 연구자는 해석할 수 없는 모델로부터 배울 수 없다

역사적 배경과 발전

설명 가능 AI를 향한 여정은 수십 년에 걸쳐 있으며, 인공지능 자체의 폭넓은 발전과 함께 진화해 왔다. 이 역사를 이해하면 오늘날 XAI 방법을 이해하는 데 중요한 맥락을 얻을 수 있다.

초기 전문가 시스템(1970년대~1980년대)

최초의 AI 시스템은 본질적으로 설명 가능했다. 의료 진단용 MYCIN과 같은 전문가 시스템은 쉽게 추적할 수 있는 명시적 규칙 기반 추론을 사용했다. MYCIN이 어떤 항생제를 권고하면, 그 결론에 이르게 한 규칙과 증상을 정확히 나열할 수 있었다. 그러나 이러한 투명성에는 대가가 따랐다. 이들 시스템은 취약하고 확장하기 어려웠으며, 방대한 수작업 지식 공학을 필요로 했다.

통계적 학습의 부상(1990년대~2000년대)

통계적 머신러닝으로의 전환은 강력하지만 해석하기는 더 어려운 방법들을 도입했다. 서포트 벡터 머신(SVM), 앙상블 방법, 초기 신경망은 명시적 추론을 내주는 대신 향상된 정확도와 일반화 성능을 얻었다. 학계와 업계는 대체로 이 트레이드오프를 받아들였고, 해석 가능성보다 예측 성능에 집중했다.

딥러닝 혁명(2010년대)

딥러닝의 폭발적인 성공은 해석 가능성 문제를 더욱 악화시켰다. 수백 개의 층과 수백만 개의 매개변수를 가진 신경망이 이미지 인식과 자연어 처리 같은 과제에서 인간을 뛰어넘는 성능을 달성했지만, 그 의사결정 과정은 점점 더 불투명해졌다. 이 성공은 결국 문제를 정면으로 마주하게 만들었다. 이러한 시스템이 연구실을 떠나 실제 환경에 배포되면서 설명의 필요성이 시급해진 것이다.

XAI 운동(2015년~현재)

현 시대에는 설명 가능 AI 방법에 대한 연구가 폭발적으로 늘어났다. LIME(2016), SHAP(2017), 어텐션 메커니즘과 같은 기법은 복잡한 모델을 이해하기 위한 새로운 도구를 제공했다. EU GDPR의 "설명을 요구할 권리"와 같은 규제상의 발전은 설명 가능성에 대한 법적 요구를 만들어 냈다.

설명 가능 AI의 핵심 원칙

이 책은 설명 가능 AI 시스템의 설계와 구현을 이끄는 기본 원칙을 다섯 가지로 정리한다. 이 원칙들은 설명이 기술적 엄밀성을 유지하면서 본래의 목적에 부합하도록 보장한다.

1. 모델에 대한 충실도

설명은 모델의 실제 의사결정 과정을 정확하게 반영해야 한다. 그럴듯하게 들리지만 모델의 작동 방식을 잘못 나타내는 설명은 잘못된 확신을 만들어 내므로, 아예 설명이 없는 것보다 더 나쁘다. 충실도는 입력과 출력 사이의 관계가 복잡하거나 직관에 반하더라도 설명이 그 참된 관계를 포착할 것을 요구한다.

2. 인간의 이해 가능성

설명은 인간이 이해할 수 있을 때에만 유용하다. 이 원칙은 청중마다 필요로 하는 세부 수준과 제시 형식이 다르다는 점을 인정한다. 데이터 과학자는 상세한 특성 기여도와 통계적 측정값을 원할 수 있는 반면, 최종 사용자에게는 간단한 자연어 요약이 필요할 수 있다. 이해 가능성은 또한 적절한 경우 설명이 인간의 직관 및 도메인 지식과 부합해야 함을 의미한다.

3. 일관성과 안정성

유사한 입력은 유사한 설명을 산출해야 한다. 입력에 대한 작고 감지하기 어려운 변화가 (예측은 바꾸지 않으면서) 설명을 극적으로 바꾼다면, 그 설명 시스템은 안정성이 부족한 것이며 사용자를 혼란스럽게 할 것이다. 일관성은 설명이 입력 공간 전반에서 예측 가능하고 신뢰할 수 있게 동작하도록 보장한다.

4. 실행 가능성

설명은 실행 가능한 통찰을 제공해야 한다. 대출 승인이나 의료 진단과 같은 응용 분야에서 설명은 사용자가 결정이 내려진 이유뿐만 아니라 어떤 변화가 다른 결과로 이어질 수 있는지도 이해하도록 도와야 한다. 이는 반사실적 설명의 개념과 연결된다. "귀하의 대출은 총부채 대비 소득 비율이 0.52이기 때문에 거절되었다. 이 비율이 0.35 미만이었다면 승인되었을 가능성이 높다."

5. 한계에 대한 투명성

설명 시스템은 자신의 한계와 불확실성에 대해 정직해야 한다. 설명이 근사에 기반하거나 신뢰도가 낮다면, 이를 명확히 전달해야 한다. 시스템이 무엇을 알고 무엇을 모르는지에 대한 투명성이 적절한 수준의 신뢰를 쌓는다.

설명의 유형

설명에는 여러 유형이 있으며, 각 유형은 서로 다른 목적에 쓰이고 서로 다른 맥락에 적합하다. 이러한 범주를 이해하면 실무자가 자신의 사용 사례에 맞는 방법을 선택하는 데 도움이 된다.

지역 설명과 전역 설명

지역 설명은 모델이 특정 입력에 대해 왜 특정한 예측을 했는지 이해하는 데 초점을 맞춘다. 예를 들어, 바로 이 대출 신청은 왜 거절되었는가? 이러한 설명은 개인 단위의 의사결정 맥락과, 영향을 받은 개인에게 특정 결과를 설명하도록 하는 규제 요구사항에서 매우 중요하다.

전역 설명은 가능한 모든 입력에 걸친 모델의 전반적인 동작을 특징짓는 것을 목표로 한다. 모델은 일반적으로 어떤 특성을 가장 중요하게 여기는가? 서로 다른 요인 사이에서 어떻게 균형을 잡는가? 전역 설명은 이해관계자가 모델의 일반적인 경향과 잠재적 편향을 이해하도록 돕는다.

해석 가능성과 정확도의 트레이드오프

머신러닝에는 모델의 해석 가능성과 예측 정확도 사이에 본질적인 트레이드오프가 존재한다는 믿음이 끈질기게 남아 있다. 통념에 따르면 선형 회귀나 의사결정 트리 같은 단순하고 해석 가능한 모델은 심층 신경망 같은 복잡한 블랙박스의 성능을 따라갈 수 없다.

그러나 현대 XAI 연구는 이러한 이분법적 구도에 이의를 제기한다. 몇 가지 핵심 통찰이 등장했다.

• 사후 설명 가능성: 정확도가 높은 복잡한 모델을 유지하면서 그 위에 설명 계층을 추가하여 두 가지 장점을 모두 얻을 수 있다.
• 본질적으로 해석 가능한 아키텍처: 일반화 가법 모델(GAM)이나 개념 병목 모델처럼 구조 자체에 해석 가능성을 담은 아키텍처가 발전하고 있다. 어텐션 메커니즘도 해석의 단서를 주지만, 5장에서 보듯 어텐션 가중치를 곧바로 설명으로 받아들이는 데에는 한계가 있다.
• 도메인별 해법: 일부 도메인에서는 신중하게 설계된 해석 가능한 모델이 블랙박스의 성능에 필적하거나 이를 능가할 수 있다.
• 설명 품질의 편차: 모든 설명이 똑같이 유용한 것은 아니다. 복잡한 모델에서 나온 부실한 설명은 더 단순한 해석 가능 모델보다 적은 통찰을 줄 수 있다.

이해관계자와 그들의 설명 요구

AI 시스템의 이해관계자마다 설명에 대한 요구사항이 다르다. WIA-AI-009 명세의 설명 요청 형식은 대상 청중(target_audience: technical, business, enduser, regulatory)을 지정하게 하여, 구체적인 청중을 염두에 두고 설명을 설계하도록 한다. 2장에서 청중별 프로파일을 자세히 다룬다.

데이터 과학자와 ML 엔지니어

기술 실무자는 모델을 디버깅하고, 특성 간 상호작용을 이해하고, 성능을 개선하기 위해 상세하고 정밀한 설명을 필요로 한다. 이들은 복잡한 시각화, 통계적 측정값, 수학적 정식화를 해석할 수 있다. 이들을 위한 설명에는 SHAP 값, 특성 기여도 도표, 민감도 분석이 포함될 수 있다.

도메인 전문가

의사, 금융 분석가를 비롯한 도메인 전문가는 자신의 전문 지식과 연결되는 설명을 필요로 한다. 이들은 모델의 추론이 도메인 원칙에 부합하는지 검증하고, 모델이 허위 상관관계를 학습하고 있을 수 있는 사례를 찾아내고자 한다. 설명은 도메인 용어를 사용하고, 전문가가 검증할 수 있는 관계를 부각해야 한다.

비즈니스 의사결정자

경영진과 관리자는 모델의 동작을 비즈니스 성과와 연결하는 높은 수준의 설명을 필요로 한다. 이들은 모델의 신뢰성, 잠재적 위험, 투자 수익을 이해하는 데 관심을 둔다. 이들을 위한 설명은 집계된 동작, 성능 지표, 비즈니스와 관련된 시나리오에 초점을 맞춘다.

규제 기관과 감사인

컴플라이언스 담당자와 외부 감사인은 법적·윤리적 기준의 준수를 입증하는 설명을 필요로 한다. 이들은 감사 추적 기록, 모델 검증 과정에 대한 문서, 그리고 시스템이 금지된 차별을 하지 않는다는 증거를 요구한다. 설명은 규제 심사를 뒷받침할 만큼 포괄적이어야 한다.

최종 사용자

AI의 결정에 영향을 받는 사람들은 결과와 가능한 구제 수단을 이해하는 데 도움이 되는 평이한 언어의 설명을 필요로 한다. 대출 신청자는 경사 하강법을 이해할 필요가 없다. 그들에게 필요한 것은 왜 거절되었는지, 그리고 무엇을 다르게 할 수 있는지를 아는 것이다. 설명은 실행 가능하고, 사용자에게 힘을 실어 주며, 사용자의 시간과 인지 부담을 존중해야 한다.

규제 및 윤리적 맥락

설명 가능 AI를 향한 요구는 순수하게 기술적인 것이 아니다. 이는 알고리즘 의사결정에 대한 사회의 가치와 우려를 반영하는 법적·규제적·윤리적 요청에 의해 추동된다.

GDPR과 설명을 요구할 권리

2018년에 시행된 유럽연합의 일반 데이터 보호 규정(GDPR)에는 많은 사람이 자동화된 의사결정에 대한 "설명을 요구할 권리"를 확립한 것으로 해석하는 조항들이 포함되어 있다. 제22조는 개인에게 중대한 영향을 미치는, 오로지 자동화된 처리에만 기반한 결정을 제한하며, 제13조~제15조는 자동화된 결정에 관련된 로직에 관한 정보를 제공하도록 요구한다.

EU AI 법

2024년에 채택된 EU AI 법(규정 (EU) 2024/1689)은 AI 시스템을 위험 수준에 따라 분류하고, 고위험 응용 분야에 투명성 요구사항을 부과한다. 의료, 법 집행, 신용 평가와 같은 핵심 영역에서 사용되는 고위험 시스템은 기술 문서를 유지하고 배포자와 사용자에게 정보를 제공해야 하며, 이 의무는 단계적으로 적용된다. 규제 환경은 8장에서 자세히 다룬다.

알고리즘 책임성

개별 규제를 넘어, 보다 폭넓은 알고리즘 책임성 프레임워크를 향한 움직임이 커지고 있다. 사람들의 삶에 영향을 미치는 AI 시스템을 배포하는 조직은 그 시스템이 어떻게 작동하는지 설명하고, 공정하며 편향되지 않았음을 입증하고, 오류가 발생했을 때 구제 수단을 제공할 수 있어야 한다. 설명 가능성은 이러한 책임성의 초석이다.

기술적 기초

이후 장에서 구체적인 XAI 방법을 깊이 다루기에 앞서, 대부분의 설명 기법을 떠받치는 몇 가지 기초 개념을 이해하는 것이 중요하다.

특성 기여도

대부분의 설명 방법은 특성 기여도(feature attribution), 즉 각 입력 특성이 특정 예측에 얼마나 기여했는지를 판정하는 일을 중심으로 한다. 모델이 어떤 대출이 채무 불이행에 빠질 것이라고 예측한다면, 특성 기여도 분석을 통해 신청자의 높은 총부채 대비 소득 비율이 불이행 확률에 +0.3만큼 기여한 반면, 탄탄한 고용 이력은 -0.15만큼 기여했음을 밝혀낼 수 있다.

// 단순화한 특성 기여도 개념
prediction = base_value + Σ attribution_i

예시:
불이행 위험 = 0.50 (기준값) +
              0.30 (debt_ratio) +
             -0.15 (employment) +
              0.10 (credit_score) +
              0.05 (기타)
            = 0.80 (불이행 위험 80%)

가법적 특성 기여도

많은 현대 XAI 방법은 가법적 특성 기여도(additive feature attribution)라는 성질을 만족한다. 이는 개별 특성 기여도의 합이 예측값과 기준값의 차이와 같다는 뜻이다. SHAP과 같은 방법에서 정식화된 이 수학적 성질은 기여도가 완전하고 책임 있게 산출되도록, 즉 예측의 모든 측면이 설명되도록 보장한다.

모델 근사

일부 설명 방법은 복잡한 모델을 더 단순하고 해석 가능한 모델로 근사하는 방식으로 작동한다. 예를 들어 LIME은 특정 예측 지점 주변에 선형 모델을 적합시킨다. 그 발상은, 전역 모델이 고도로 비선형적이더라도 선형 근사를 통해 그 동작을 지역적으로 이해할 수 있다는 것이다. 이는 미적분학에서 접선을 이용해 곡선을 근사하는 방식과 매우 유사하다.

WIA-AI-009 표준 프레임워크

이 표준은 네 단계에 걸쳐 설명 가능 AI를 구현하기 위한 포괄적인 프레임워크를 제공한다.

1. 1단계: 데이터 형식 및 설명 유형
   설명을 표현하기 위한 표준화된 형식을 정의하여 서로 다른 도구와 플랫폼 간의 상호운용성을 보장한다. 이 단계는 설명을 전달하기 위한 어휘와 데이터 구조를 확립한다.
2. 2단계: XAI 알고리즘 및 방법
   SHAP, LIME, 어텐션 메커니즘, 통합 그래디언트(Integrated Gradients), 반사실 설명을 포함한 핵심 설명 가능성 알고리즘을 구현한다. 이 단계는 설명을 생성하기 위한 기술적 장치를 제공한다.
3. 3단계: 설명 프로토콜 및 신뢰 지표
   설명을 요청하고 검증하기 위한 프로토콜과 함께 설명 품질을 측정하기 위한 지표를 수립한다. 이 단계는 설명이 신뢰할 수 있고 믿을 만하도록 보장한다.
4. 4단계: 통합 및 시각화
   XAI 기능을 ML 파이프라인에 통합하고, 다양한 청중을 위한 시각화 도구를 제공한다. 이 단계는 설명 가능성을 실용적이고 접근 가능한 것으로 만든다.

과제와 한계

설명 가능 AI는 막대한 이점을 제공하지만, 현재의 과제와 한계를 인정하는 것도 중요하다.

충실도와 단순성 사이의 긴장

모델의 복잡성을 모두 포착하는 충실도 높은 설명은 인간이 이해하기에 너무 복잡할 수 있다. 단순화된 설명은 이해하기 쉽지만 모델을 정확하게 나타내지 못할 수 있다. 서로 경쟁하는 이 두 요구 사이의 균형을 잡는 일은 여전히 해결되지 않은 과제로 남아 있다.

계산 비용

많은 XAI 방법, 특히 SHAP과 통합 그래디언트는 상당한 계산을 필요로 한다. 설명을 생성하는 데에는 예측을 수행하는 것보다 몇 자릿수나 더 긴 시간이 걸릴 수 있어 실시간 응용을 제약한다.

적대적 설명

연구에 따르면 설명 시스템은 속거나 조작될 수 있다. 악의적 행위자는 어떤 방식으로 동작하면서도 그 동작을 잘못 나타내는, 그럴듯하게 들리는 설명을 생성하는 모델을 만들 수 있다. 이는 설명 시스템에 대한 견고한 검증이 필요함을 보여 준다.

이해의 환상

아마도 가장 우려되는 것은 설명이 진정한 통찰 없이 이해의 환상만을 만들어 낼 위험이다. 사용자는 설명이 피상적이거나 오해를 불러일으키는 것이라 하더라도, 설명을 받은 뒤에는 시스템을 더 신뢰할 수 있다. XAI는 맹목적인 믿음이 아니라 적절한 신뢰를 기르도록 설계되어야 한다.