사례 연구 및 모범 사례

배경

아마존은 이력서 심사를 자동화하기 위한 AI 채용 도구를 개발했습니다. 시스템은 10년 동안 아마존에 제출된 이력서로 학습되었으며, 목표는 최고의 후보자를 식별하는 것이었습니다.

문제

AI는 "여성"이라는 단어가 포함된 이력서("여성 체스 클럽"과 같이)에 불이익을 주고 여성 대학 졸업자를 낮게 평가하도록 학습했습니다. 이는 역사적 데이터가 기술 직무에서 남성 지배적인 채용 패턴을 보여주었기 때문입니다.

근본 원인

• 역사적 편향: 학습 데이터가 과거 채용 차별을 반영함
• 대리 차별: 명시적인 성별 필드 없이도 이력서에 성별 신호가 존재함
• 분리된 평가 부족: 시스템이 성별에 따라 별도로 테스트되지 않음
• 불충분한 감독: 배포 테스트 전에 편향이 탐지되지 않음

결과

아마존은 결국 차별하지 않을 것이라고 보장할 수 없어 도구를 폐기했습니다. 회사는 실제 채용 결정에 사용하지 않았다고 밝혔습니다.

배운 교훈

• 역사적 데이터는 기존 편향을 인코딩하고 증폭할 수 있음
• 성별 중립적 채용은 명시적 성별 필드뿐만 아니라 모든 성별 대리를 제거해야 함
• 분리된 평가를 통한 조기 테스트가 필수적임
• 일부 문제는 AI로 대체하는 것보다 AI가 지원하는 인간 판단으로 더 잘 해결될 수 있음

했어야 할 것

• 대표성과 레이블 편향에 대한 학습 데이터 감사
• 성별과 상관관계가 있는 대리 피처 식별 및 제거
• 다른 인구통계학적 그룹에 대해 별도로 성능 테스트
• 편향 제거 기술 적용 (재가중치, 적대적 편향 제거)
• 최종 결정을 위한 인간 감독 구현

배경

COMPAS(대체 제재를 위한 교정 범죄자 관리 프로파일링)는 재범 가능성을 예측하기 위해 형사 사법에 사용되는 위험 평가 도구입니다. 미국 전역에서 보석, 선고, 가석방 결정에 사용됩니다.

문제

ProPublica의 2016년 조사에서 COMPAS가 인종적 편향을 나타냄을 발견했습니다:

• 높은 위험으로 레이블되었지만 재범하지 않은 흑인 피고인: 45%
• 높은 위험으로 레이블되었지만 재범하지 않은 백인 피고인: 23%
• 낮은 위험으로 레이블되었지만 재범한 흑인 피고인: 28%
• 낮은 위험으로 레이블되었지만 재범한 백인 피고인: 48%

분석

알고리즘은 예측적 균등성(인종 전체에 걸쳐 고위험 예측에 대한 동등한 정밀도)을 만족했지만 동등한 확률(다른 위양성률과 위음성률)을 위반했습니다. 이것은 모든 공정성 기준을 동시에 만족시키는 것의 불가능성을 보여줍니다.

배운 교훈

• 다른 공정성 지표가 상충되는 결과를 제공할 수 있음
• 맥락이 중요함: 형사 사법에서 위양성(재범을 잘못 예측)은 개인에게 해를 끼침
• 고위험 결정은 적절한 공정성 기준의 신중한 선택이 필요함
• 투명성은 중요하지만 형사 사법에서 논란의 여지가 있음
• 역사적 체포 데이터는 실제 범죄율이 아닌 편향된 치안 활동을 반영할 수 있음

형사 사법 AI를 위한 모범 사례

• 무고한 피고인과 유죄 피고인의 동등한 대우를 보장하기 위해 동등한 확률 우선시
• 교차성 분석 수행 (인종 × 성별, 인종 × 연령 등)
• 설명 제공 및 위험 점수에 대한 이의 제기 허용
• 독립적인 제3자에 의한 정기적인 공정성 감사
• 모든 고위험 점수에 대한 인간 검토 필요
• 이러한 결정에 자동화가 적절한지 고려

배경

널리 사용되는 의료 알고리즘은 연간 2억 명 이상의 사람들에게 위험 점수를 할당하여 누가 고위험 진료 관리 프로그램의 혜택을 받을지 결정했습니다.

문제

알고리즘은 의료 비용을 건강 필요의 대리 변수로 사용했습니다. 흑인 환자가 의료에 대한 체계적 장벽으로 인해 더 낮은 비용을 발생시켰기 때문에, 유사한 점수의 백인 환자보다 더 아픔에도 불구하고 체계적으로 더 낮은 위험 점수를 받았습니다.

영향

주어진 위험 점수에서 흑인 환자는 백인 환자보다 상당히 더 아팠습니다:

• 흑인 환자는 만성 질환이 26.3% 더 많았음
• 알고리즘이 편향을 줄이도록 조정되었을 때, 추가 도움을 받는 흑인 환자의 비율이 17.7%에서 46.5%로 증가함

근본 원인

측정 편향: 다른 모집단이 다른 수준의 의료 접근성을 가질 때 의료 비용은 건강 필요의 편향되지 않은 측정이 아닙니다.

구현된 솔루션

• 비용 예측에서 실제 건강 상태 예측으로 목표 변경
• 비용 대신 활성 만성 질환 수를 결과로 사용
• 편향을 80% 이상 감소시킴

배운 교훈

• 목표 변수(예측하는 것)의 선택이 중요함
• 대리 변수는 모든 인구통계학적 그룹에 걸쳐 유효해야 함
• 편향된 측정을 식별하려면 도메인 전문 지식이 필수적임
• 배포 후 모니터링은 개발 중에 명백하지 않았던 편향을 포착할 수 있음
• 편향을 수정하는 것은 가능하지만 근본적인 모델링 선택을 재고해야 함