제5장

깊이 정확도와 보정

깊이 정확도의 이해

깊이 정확도는 측정된 깊이와 실제 깊이 사이의 차이를 나타낸다. 3D 센서의 정확도는 센서 물리, 환경 조건, 대상 물체의 특성, 보정 품질 등 수많은 요인의 영향을 받는다. 이 장에서는 오차 원인, 보정 기법, 그리고 서브밀리미터 정확도를 달성하기 위한 방법을 살펴본다.

3D 센싱의 오차 원인

계통 오차

계통 오차는 반복적이고 예측 가능하므로 보정을 통해 바로잡을 수 있다.

고정 패턴 잡음: 각 픽셀은 제조 편차로 인해 일정한 오프셋을 가질 수 있다. 이 오프셋은 공장 보정 단계에서 측정되어 측정값에서 차감된다.
렌즈 왜곡: 광학 수차는 영상을 휘게 만들며, 이는 반드시 보정해야 한다. 방사 왜곡(배럴/핀쿠션)과 접선 왜곡을 모델링하여 보상한다.
온도 드리프트: 열팽창은 센서의 기하 구조를 변화시킨다. 정밀도가 중요한 시스템에는 온도 센서와 보상용 룩업 테이블이 포함된다.
비선형 응답: 측정 신호와 깊이의 관계가 완벽하게 선형이 아닐 수 있다. 보정을 통해 보정 곡선이나 다항식 모델을 만든다.

우연 오차

우연 오차는 예측할 수 없게 변하며, 평균화하거나 신호 대 잡음비를 개선해야만 줄일 수 있다.

광자 산탄 잡음: 빛의 양자적 특성으로 인해 광자 도달에 통계적 변동이 생긴다. 이 근본적 한계는 푸아송 통계를 따르며, 신호 광자가 많을수록 개선된다.
전자 잡음: 증폭기 잡음, 디지털화 양자화, 전자기 간섭이 무작위 변동의 원인이 된다.
주변광: 배경 조명은 잡음을 더해 신호 대 잡음비를 떨어뜨린다. 광학 필터링과 시간 변조가 주변광을 배제하는 데 도움이 된다.

다중 경로 간섭

다중 경로 간섭은 빛이 센서로 돌아오기 전에 여러 표면에서 반사될 때 발생한다. 이는 모서리나 반사성 표면 근처에서 ToF 센서에 특히 문제가 된다. 측정된 거리는 직접 반사 신호와 다중 경로 반사 신호가 섞인 값이 되며, 이로 인한 깊이 오차는 수 센티미터를 넘을 수 있다.

고급 알고리즘은 다양한 기법으로 다중 경로를 검출하고 보정하려 한다. 신호 파형을 분석하여 다중 경로의 특징을 식별하고, 여러 변조 주파수를 사용하여 반사 신호를 구분하며, 인접 픽셀 간에 일관성 검사를 적용하고, 학습 데이터로부터 다중 경로 패턴을 학습하는 방법 등이 있다.

보정 방법론

공장 보정

양산 3D 센서는 포괄적인 공장 보정을 거친다.

기하 보정: 광학 요소의 정확한 위치와 방향을 결정한다. 스테레오 시스템의 경우 카메라 간 기준선이 여기에 포함된다. ToF 시스템의 경우 센서와 조명기 간 정렬이 포함된다.
광도 보정: 픽셀 응답 곡선, 강도 보정 계수, 비네팅(영상 가장자리로 갈수록 빛이 감쇠하는 현상)을 측정한다. 픽셀별 보정 맵을 만든다.
깊이 보정: 작동 범위 전체에 걸쳐 알려진 거리에서 깊이 정확도를 측정한다. 깊이 응답을 선형화하기 위한 보정 룩업 테이블이나 다항식 모델을 생성한다.
온도 특성 평가: 다양한 온도에서 깊이 응답을 측정한다. 작동 온도 범위 전체에서 정확도를 유지하기 위한 열 보상 모델을 만든다.

현장 보정과 검증

공장 보정을 거친 뒤에도, 특히 까다로운 산업·과학 응용 분야에서는 센서에 주기적인 현장 보정이나 검증이 필요할 수 있다.

깊이 판 방법: 알려진 거리에서 평평한 보정판을 측정한다. 측정된 깊이를 실제 거리와 비교하여 정확도를 검증한다. 이는 생산 라인 시험을 위해 자동화할 수 있다.
계단형 타깃 방법: 단차 높이가 알려진 정밀 가공 타깃을 사용한다. 측정된 높이 차이가 실제 값과 일치하는지 검증한다. 이는 국소 깊이 분해능과 에지 정확도를 시험한다.
구형 타깃 방법: 지름이 알려진 구를 측정한다. 측정된 포인트 클라우드를 구 모델에 피팅하고, 피팅된 지름을 실제 값과 비교한다. 이는 정확도와 정밀도를 모두 시험한다.

정확도 사양

깊이 정확도를 올바르게 명시하려면 여러 지표가 필요하다.

지표	정의	일반적인 값
계통 오차	측정값 전반의 평균 오차	±1-5mm @ 2m
정밀도(1σ)	측정값의 표준편차	1-10mm @ 2m
RMSE	평균 제곱근 오차	2-15mm @ 2m
최대 오차	범위 전반의 최악 조건 오차	10-50mm @ 2m
깊이 분해능	검출 가능한 최소 깊이 변화	0.5-5mm @ 2m

깊이 정확도 향상

하드웨어적 접근

더 높은 SNR: 조명 출력을 높이거나, 양자 효율을 개선하거나, 더 큰 픽셀을 사용하거나, 픽셀 비닝을 추가하여 측정당 더 많은 광자를 포착한다.
더 나은 광학계: 왜곡이 적은 고품질 렌즈를 사용한다. 핵심 광학 요소에는 온도 안정화를 적용한다.
정밀 제조: 더 엄격한 기계적 공차는 계통 오차를 줄인다. 조립 중 능동 정렬은 기하학적 정확도를 개선한다.
다중 주파수 작동: ToF의 경우 여러 변조 주파수를 사용하면 측정 범위가 넓어지고 다중 경로 배제 성능이 좋아진다.

알고리즘적 접근

시간적 평균화: 여러 프레임을 누적하여 무작위 잡음을 줄인다. 정지 장면의 경우 N개 프레임을 평균화하면 SNR이 √N배 개선된다.
공간 필터링: 양방향 필터링과 같은 에지 보존 필터를 적용하여, 뚜렷한 깊이 불연속을 유지하면서 잡음을 줄인다.
다중 경로 보정: 물리 기반 모델이나 머신러닝을 사용하여 다중 경로 간섭을 검출하고 보상한다.
센서 융합: 여러 센서나 모달리티의 깊이를 결합한다. 예를 들어 ToF 깊이와 스테레오 깊이를 융합하여 강건성을 높인다.

계측급 시스템

산업 검사, 의료 영상, 과학 연구와 같은 응용 분야는 탁월한 정확도를 요구한다.

            서브밀리미터 정확도 달성 요건:
            온도가 제어된 환경 또는 능동 열 보상
진동 절연을 통한 기계적 안정성
왜곡이 최소화된 고품질 광학계
정밀 기준 아티팩트를 이용한 빈번한 재보정
다중 측정 평균화(수백~수천 프레임)
주변광 간섭을 최소화하기 위한 조명 제어
최적 작동 거리(최상의 정확도를 위해 일반적으로 0.5-2m)

        

시험과 인증

WIA-SEMI-013 Phase 4는 이 장에서 다룬 정확도 개념을 시험 절차로 구체화한다. 정확도 시험은 안정된 삼각대에 센서를 고정하고 보정판을 0.5m, 1m, 2m, 3m, 5m에 두고 거리마다 100프레임을 캡처하여 평균 오차와 표준편차를 구한다. 반복성 시험은 정적 장면에서 1000프레임을 모아 픽셀별 표준편차를 계산하고, 픽셀의 95%가 정밀도 사양 이내인지 확인한다. 다중 경로 시험은 코너 재귀반사 구성에서 오차가 정상 정확도 사양의 2배 이내인지 확인한다. 깊이 정확도 기준은 Bronze ±5mm, Silver ±2mm, Gold ±1mm(모두 2m 기준)이다. 등급별 전체 요건과 환경 시험 조건은 제8장에서 정리한다.

모범 사례

정확도는 항상 정해진 거리에서 명시한다 - 정확도는 거리에 따라 크게 달라진다
정확도(계통 오차)와 정밀도(우연 오차)를 구분한다
환경 조건을 고려한다 - 온도, 진동, 주변광은 모두 정확도에 영향을 준다
보정 상태를 주기적으로 검증한다. 특히 운송 후나 기계적 스트레스를 받은 뒤에는 반드시 확인한다
적절한 타깃 표면을 사용한다 - 정확도 사양은 흔히 난반사성·비반사성 타깃을 전제로 한다
깊이 파이프라인 전체를 고려한다 - 렌즈 품질, 보정, 알고리즘이 모두 최종 정확도에 기여한다

깊이 정확도를 이해하고 최적화하면, 3D 센싱 시스템은 비용, 크기, 전력, 연산 제약 사이의 균형을 맞추면서 응용 분야의 요구사항을 충족할 수 있다. 이어지는 장들에서는 이렇게 보정된 센서가 다양한 응용 분야를 위한 완전한 시스템에 어떻게 통합되는지 살펴본다.

고급 보정 기법

다중 모달 보정

현대의 3D 센싱 시스템은 여러 센서 모달리티를 결합하는 경우가 많다. 이러한 다중 모달 시스템을 보정하려면 센서 간의 정확한 공간적·시간적 관계를 결정해야 한다.

보정 유형	파라미터	응용 분야
깊이-RGB 정렬	6DOF 변환, 렌즈 왜곡	컬러 포인트 클라우드, 텍스처 매핑
다중 ToF 융합	상대 자세, 타이밍 오프셋	확장된 FOV, 가림 처리
IMU-깊이 동기화	레버 암, 시간 지연	움직임 보상, SLAM
LiDAR-카메라	3D-2D 투영 행렬	자율주행, 로봇 공학

자체 보정과 자동 보정

고급 시스템은 특수 타깃 없이도 자동으로 보정을 수행할 수 있다. 자체 보정은 자연 장면을 분석하여 보정 파라미터를 추정한다. 스테레오 시스템의 경우 프레임 간에 특징점을 검출하고 추적하여 카메라 파라미터를 구한다. ToF 시스템의 경우 평면 표면 검출로 깊이 보정을 정밀화할 수 있다. 번들 조정 알고리즘은 카메라 파라미터와 3D 구조를 동시에 최적화하므로, 정상 작동 중에도 정확한 보정이 가능하다.

온라인 보정 모니터링

양산 시스템은 성능 저하를 검출하기 위한 지속적인 보정 모니터링의 이점을 얻는다. 관련 기법은 다음과 같다.

기하학적 일관성 검사: 측정된 깊이가 알려진 구조물의 기하학적 제약을 만족하는지 검증한다. 예를 들어 평행선은 3D에서도 평행을 유지해야 한다.
교차 검증: 다중 센서 시스템에서는 중첩되는 측정값을 비교하여 보정 오류나 센서 드리프트를 검출한다.
기준 타깃 모니터링: 상시 설치된 보정 타깃을 이용하면 시스템을 중단하지 않고도 주기적인 자동 검증이 가능하다.
통계적 공정 관리: 정확도 지표를 시간에 따라 추적하고, 값이 허용 범위를 벗어나면 재보정을 실행한다.

오차 예산과 시스템 설계

목표 정확도를 달성하려면 구성 요소의 오차가 측정 체인을 따라 어떻게 전파되는지 이해해야 한다. 오차 예산 수립은 정확도 요구사항을 개별 구성 요소에 할당하는 작업이다.

오차 원인	예시 기여도	완화 전략
광자 산탄 잡음	전체 오차의 30-50%	적분 시간 또는 레이저 출력 증가
보정 오차	전체 오차의 20-40%	고정밀 보정, 온도 보상
다중 경로 간섭	전체 오차의 10-30%	다중 주파수 작동, 알고리즘 보정
렌즈 왜곡	전체 오차의 5-15%	고품질 광학계, 왜곡 보정
양자화	전체 오차의 2-5%	충분한 ADC 분해능, 서브픽셀 추정

위 표의 기여도는 iToF 센서를 가정한 설명용 예시이며, 실제 배분은 기술, 거리, 대상, 환경에 따라 크게 달라진다. 전체 시스템 오차는 이러한 원인들이 결합된 것이다. 서로 독립적인 무작위 오차의 경우 제곱합 제곱근(RSS)이 좋은 추정치를 제공한다: σ_total = √(σ₁² + σ₂² + ... + σₙ²). 계통 오차의 경우에는 최악 조건 합산이 더 적절할 수 있다. 이 오차 예산을 이해하면 설계 결정의 방향을 잡을 수 있다 - 오차 기여도가 가장 큰 구성 요소를 개선할 때 정확도가 가장 크게 향상된다.

// 예제: 평면 타깃을 이용한 보정 검증 흐름
// WIA3DImageSensor는 Phase 2 TypeScript SDK의 클래스이다.
// captureFrame()과 CalibrationVerifier는 설명을 위한 가상의 보조 API로, 규격에 정의되어 있지 않다.
import { WIA3DImageSensor, CalibrationVerifier } from '@wia/semi-013-sdk';

const sensor = new WIA3DImageSensor({ deviceId: 'sensor-001' });
const verifier = new CalibrationVerifier();

// 알려진 거리에서 기준 평면 캡처
const distance = 2000; // mm
const frame = await sensor.captureFrame();

// 센서 영역 전체에서 정확도 검증
const results = verifier.verifyPlanarTarget(frame, distance, {
  gridSize: { rows: 5, cols: 5 },
  tolerance: 5 // mm
});

console.log(`평균 오차: ${results.meanError.toFixed(2)} mm`);
console.log(`표준편차: ${results.stdDev.toFixed(2)} mm`);
console.log(`최대 오차: ${results.maxError.toFixed(2)} mm`);

if (results.passed) {
  console.log('✓ 보정 검증 통과(PASSED)');
} else {
  console.log('✗ 보정 검증 실패(FAILED)');
  console.log(`실패 픽셀 수: ${results.failedPixels.length}`);
}

요약

            핵심 내용:
            정확도 대 정밀도: 계통 오차(정확도)와 우연 오차(정밀도)를 구분해야 한다.
                    고성능 센싱을 위해서는 둘 다 통제해야 한다.
다요인 오차 원인: 깊이 정확도는 센서 물리, 환경 조건, 대상 물체의 특성, 보정 품질의
                    영향을 받는다. 모든 원인을 이해해야 효과적으로 완화할 수 있다.
보정은 지속적인 과정이다: 공장 보정은 출발점일 뿐이다. 현장 검증, 온도 보상,
                    주기적 재보정을 통해 제품 수명 전체에 걸쳐 정확도를 유지한다.
응용 분야별 요구사항: 응용 분야마다 요구하는 정확도 수준이 다르다.
                    소비자용 제스처 인식은 10-20mm의 오차를 허용할 수 있지만, 산업 계측은 서브밀리미터 정밀도를
                    요구한다.
오차 예산이 설계를 이끈다: 체계적인 오차 분석은 지배적인 오차 원인을 찾아내어,
                    가장 중요한 부분에 개선을 집중할 수 있게 한다.
시험과 인증: WIA-SEMI-013에 따른 표준화된 정확도 시험은 센서 간의 객관적인 비교를
                    가능하게 하고 성능 주장을 검증한다.
고급 기법이 더 높은 성능을 가능하게 한다: 다중 모달 보정, 자체 보정, 온라인 모니터링은
                    양산 시스템의 최첨단 기술이다.

        

복습 질문

깊이 센싱에서 계통 오차와 우연 오차의 차이를 설명하라. 각각의 예를 두 가지씩 들고, 이를 어떻게 보정하거나 완화하는지 기술하라.
다중 경로 간섭이란 무엇이며, 왜 ToF(Time-of-Flight) 센서에서 특히 문제가 되는가? 다중 경로 오차를 검출하거나 보정하는 기법 두 가지를 기술하라.
어떤 ToF 센서의 사양이 "±5mm 정확도 @ 2m"로 표기되어 있다. 자신의 응용 분야에 맞게 이 사양을 완전히 평가하려면 어떤 추가 정보가 필요한가?
3D 센서 공장 보정의 네 가지 주요 단계를 기술하라. 산업 응용 분야에서 온도 특성 평가가 중요한 이유는 무엇인가?
1-3미터 범위에서 2mm의 깊이 정확도가 요구되는 시스템을 설계하고 있다. 오차 예산은 광자 잡음 = 1.2mm, 보정 = 1.0mm, 다중 경로 = 0.8mm, 렌즈 왜곡 = 0.5mm이다. 이 시스템은 요구사항을 충족하는가? 무엇을 가장 먼저 개선하겠는가?
시간적 평균화가 깊이 측정의 잡음을 줄이는 원리를 설명하라. N개 프레임의 평균화로 SNR이 √N배 개선된다면, 무작위 잡음을 10mm에서 2mm로 줄이는 데 몇 개의 프레임이 필요한가?
WIA-SEMI-013의 정확도 시험과 반복성 시험은 각각 무엇을 측정하는가? 이 장의 정확도·정밀도 구분과 연결하여 설명하라.
다음을 이용한 현장 보정의 장단점을 비교하라: (a) 평평한 보정판, (b) 계단형 타깃, (c) 구형 타깃.