Chapter 02: 저자원 언어 AI의 현재 과제

弘益人間

홍익인간

과제를 명확히 인식해야 해결책을 찾을 수 있습니다

2.1 데이터 수집의 현실적 어려움

저자원 언어가 직면한 가장 근본적인 문제는 디지털 데이터의 부족입니다. 현대 AI 모델은 방대한 양의 데이터를 필요로 하지만, 대부분의 위기 언어는 이를 충족할 수 없습니다.

작업	전통적 요구량	고자원 언어	저자원 언어	격차
기계 번역	수백만 문장 쌍	수억 문장	수천~수만	1:10,000
음성 인식	1,000+ 시간	10,000+ 시간	1~10 시간	1:1,000
언어 모델	10GB+ 텍스트	100GB+	1~100MB	1:1,000
TTS	20+ 시간	100+ 시간	10분~1시간	1:1,200
개체명 인식	100,000+ 주석	수백만	0~1,000	1:10,000+

데이터 가용성 피라미드 ┌────────────────────────────────────┐ │ 영어 (초고자원) │ 수백 TB ├────────────────────────────────────┤ │ 주요 언어 (고자원) │ 수십 TB ├────────────────────────────────────┤ │ 중간 언어 (중자원) │ 수 GB ├────────────────────────────────────┤ │ 소수 언어 (저자원) │ 수백 MB ├────────────────────────────────────┤ │ 위기 언어 (극저자원) │ 수 MB 이하 └────────────────────────────────────┘

2.2 기술적 장벽

형태론적 복잡성

⚠️ 이누이트어 예시:
단어: tusaatsiarunnanngittualuujunga
의미: "나는 매우 잘 들을 수 없다" (영어 6단어 = 이누이트어 1단어)

// 형태론적 복잡성 처리
interface MorphologicalAnalysis {
  word: string;
  morphemes: Morpheme[];
  gloss: string;
  translation: string;
}

class PolysynthticAnalyzer {
  analyzeMorphemes(word: string): MorphologicalAnalysis {
    return {
      word: word,
      morphemes: [
        { surface: 'tusa', meaning: '듣다', type: 'root' },
        { surface: 'atsia', meaning: '잘', type: 'suffix' },
        { surface: 'runnaning', meaning: '할 수 있다', type: 'suffix' },
        { surface: 'it', meaning: '부정', type: 'suffix' },
        { surface: 'tu', meaning: '명사화', type: 'suffix' },
        { surface: 'alu', meaning: '매우', type: 'suffix' },
        { surface: 'u', meaning: '이다', type: 'suffix' },
        { surface: 'junga', meaning: '1인칭', type: 'suffix' }
      ],
      gloss: 'hear-well-able-NEG-NMLZ-very-be-1SG',
      translation: '나는 매우 잘 들을 수 없다'
    };
  }
}

// 바스크어 동사 복잡성
const basqueComplexity = {
  baseForm: 'eduki',  // 갖다
  dimensions: {
    subject: 12,       // 인칭
    directObject: 12,
    indirectObject: 12,
    tense: 6,
    mood: 4
  },
  theoreticalForms: 12 * 12 * 12 * 6 * 4  // = 41,472 형태!
};

음운론적 다양성

언어	음소 수	특수 음소	AI 난이도
하와이어	13개	성문 폐쇄음	낮음
영어	44개	-	중간
!Xóõ (코이산어)	160개	클릭음, 성조	매우 높음

2.3 모델링 과제

// 과적합 완화 전략
class LowResourceTrainer {
  applyRegularization(config: TrainingConfig): TrainingConfig {
    return {
      ...config,
      dropout: 0.3,              // 뉴런 비활성화
      l2Penalty: 0.01,           // L2 정규화
      earlyStoppingPatience: 5,  // 조기 종료
      dataAugmentation: true,    // 데이터 증강
      transferLearning: true     // 전이 학습
    };
  }

  // 온도 기반 균형 샘플링
  calculateSamplingProbs(
    datasets: LanguageDataset[],
    temperature: number = 5
  ): Map<string, number> {
    const probs = new Map<string, number>();
    let total = 0;

    for (const ds of datasets) {
      const adjusted = Math.pow(ds.size, 1 / temperature);
      probs.set(ds.language, adjusted);
      total += adjusted;
    }

    // 정규화
    for (const [lang, prob] of probs) {
      probs.set(lang, prob / total);
    }

    return probs;
  }
}

2.4 사회문화적 도전

🚨 기술 식민주의의 패턴:

외국 연구팀이 방문
언어 데이터 수집
본국으로 가져가 연구
논문 발표, 학위 취득
공동체는 아무 것도 못 받음

ℹ️ 성공적 협력 원칙: "Nothing About Us Without Us"

공동체가 의사결정 참여
데이터 사용 승인 권한
개발 도구 무상 제공
경제적 이익 공유

📚 핵심 요약

데이터 희소성: 저자원 언어는 1:1,000 ~ 1:10,000 수준의 데이터 격차가 있습니다.
기술적 장벽: 형태론적 복잡성, 음운론적 다양성, 문자 체계 미지원이 과제입니다.
모델링 과제: 과적합, 언어 간 간섭, 제로샷 학습의 한계를 극복해야 합니다.
인프라 불평등: 컴퓨팅 자원과 전문가 부족이 개발을 제약합니다.
사회문화적 도전: 언어 공동체와의 신뢰 구축이 기술만큼 중요합니다.
윤리적 고려: 기술 식민주의 방지, 데이터 주권 보장이 핵심입니다.
弘益人間: 과제를 인식해야 모든 언어 공동체를 이롭게 할 수 있습니다.

✏️ 복습 문제

1.

고자원 언어와 저자원 언어의 데이터 격차를 설명하시오.

2.

다종합어(Polysynthetic Languages)의 NLP 도전과제를 설명하시오.

3.

과적합 완화를 위한 5가지 기법을 비교하시오.

4.

"Nothing About Us Without Us" 원칙의 구현 방법을 설명하시오.

5.

기술 식민주의의 패턴과 방지책을 서술하시오.

6.

AI 모델이 언어를 "냉동"시키는 위험성을 논하시오.

7.

온도 기반 균형 샘플링 알고리즘을 구현하시오.

8.

저자원 언어 AI 프로젝트 성공의 핵심 요소를 분석하시오.