1단계 - 데이터 형식 (생태계 데이터 스키마)

데이터 형식 표준화 개요

WIA 생태계 모니터링 표준의 1단계는 이후의 모든 상호운용성을 가능하게 하는 기초 데이터 형식을 확립한다. 생태계 관측, 환경 측정, 메타데이터에 대한 표준화된 스키마를 정의함으로써, 1단계는 플랫폼·조직·분석 시스템을 넘나들며 이해될 수 있는 모니터링 데이터의 공통 언어를 만든다.

데이터 형식 표준화는 제2장에서 확인한 핵심 과제, 즉 호환되지 않는 데이터 구조로 인한 파편화를 해결한다. 모니터링 프로그램마다 자체 형식을 고안하면 데이터 통합 비용은 감당하기 어려울 만큼 커진다. 1단계는 누구나 채택하고 구현할 수 있도록 잘 문서화되고 검증된 스키마를 제공함으로써 이 장벽을 제거한다.

핵심 스키마 아키텍처

WIA 데이터 형식은 가볍고 사람이 읽을 수 있으며 보편적으로 지원되는 데이터 교환 형식인 JSON(JavaScript Object Notation)을 기반으로 한다. JSON의 단순성과 유연성, 그리고 강력한 도구 지원은 단순한 종 관측에서 복잡한 센서 네트워크 원격 측정 데이터에 이르는 생태계 모니터링 데이터에 이상적이다.

기본 스키마 구조

모든 WIA 생태계 모니터링 레코드는 필수 메타데이터와 구조를 제공하는 공통 기본 스키마를 공유한다. 이 기본 스키마는 모든 레코드가 올바른 해석과 활용에 필요한 최소한의 정보를 담도록 보장한다. 아래는 1단계 명세가 정의한 기본 구조이다.

{
  "wia_version": "1.0",
  "schema_type": "string (필수)",
  "record_id": "UUID 또는 고유 식별자 (필수)",
  "timestamp": "ISO 8601 날짜·시간, 시간대 포함 (필수)",
  "location": {
    "latitude": "number (필수)",
    "longitude": "number (필수)",
    "elevation": "number (선택)",
    "datum": "string (기본값: WGS84)",
    "precision": "number, 미터 단위 (선택)",
    "location_name": "string (선택)"
  },
  "observer": {
    "id": "string (필수)",
    "name": "string (선택)",
    "organization": "string (선택)",
    "email": "string (선택)"
  },
  "quality": {
    "validation_status": "enum (필수)",
    "quality_flags": "문자열 배열 (선택)",
    "confidence_level": "0-1 사이의 number (선택)"
  }
}

이 기본 구조는 모든 레코드가 고유하게 식별되고, 시공간상에서 정확히 위치가 지정되며, 관측자에게 귀속되고, 품질 평가를 받도록 보장한다. 필수 필드는 wia_version(현재 "1.0"), schema_type(예: "species-observation", "water-quality-sample"), record_id, timestamp, location.latitude(-90~90), location.longitude(-180~180), observer.id, quality.validation_status이다. validation_status는 unvalidated, in_review, validated, expert_verified, questionable, invalid 가운데 하나의 값을 가진다. confidence_level은 0.0(신뢰 없음)에서 1.0(완전한 신뢰)까지의 값이다. 도메인별 스키마는 특정 관측 유형과 관련된 추가 필드로 이 기본 구조를 확장한다.

종 관측 스키마

생물다양성 모니터링은 종 관측, 즉 특정 장소와 시각에 탐지된 생물의 기록을 생성한다. schema_type이 "species-observation"인 WIA 종 관측 스키마는 육안 조사부터 eDNA, 카메라 트랩에 이르는 다양한 데이터 수집 방법을 수용하면서 필수 정보를 담아낸다.

필수 필드

occurrence_status의 absent는 대상 종을 찾는 조사를 수행했으나 발견하지 못했음을, trace는 직접 관찰은 없으나 흔적(발자국, 배설물 등)이 확인되었음을 뜻한다.

선택 필드

선택 필드는 기본 관측에 장벽을 만들지 않으면서, 정보가 있을 경우 추가적인 세부 사항을 제공한다.

• taxon의 하위 필드: common_name, kingdom부터 subspecies까지의 분류 계급, taxon_id
• abundance: 관측된 개체의 수 또는 밀도(숫자 또는 문자열)
• life_stage: adult, juvenile, larva, egg, seed, seedling, sapling
• sex: male, female, hermaphrodite, unknown
• behavior: 생물이 하고 있던 행동(먹이 활동, 둥지 짓기, 이동)
• reproductive_condition: 번식 상태(번식 중, 비번식, 새끼 동반)
• habitat_type: ENVO 용어로 기술한 관측 환경
• associated_taxa: 동시에 관측된 다른 종(taxon 객체의 배열)
• environmental_conditions: 관측 시점의 기상 및 수체 조건

종 관측 전체 예시

{
  "wia_version": "1.0",
  "schema_type": "species-observation",
  "record_id": "OBS-2025-12345",
  "timestamp": "2025-12-26T14:30:00Z",
  "location": {
    "latitude": 47.6062,
    "longitude": -122.3321,
    "elevation": 52,
    "datum": "WGS84",
    "precision": 10,
    "location_name": "Discovery Park, Seattle"
  },
  "observer": {
    "id": "obs-001",
    "name": "Jane Smith",
    "organization": "Example Bird Survey Team"
  },
  "taxon": {
    "scientific_name": "Haliaeetus leucocephalus",
    "common_name": "Bald Eagle",
    "kingdom": "Animalia",
    "class": "Aves",
    "order": "Accipitriformes",
    "family": "Accipitridae",
    "taxon_authority": "GBIF:2480498"
  },
  "detection_method": "visual_survey",
  "occurrence_status": "present",
  "abundance": 2,
  "life_stage": "adult",
  "behavior": "perching",
  "habitat_type": "coastal_forest",
  "environmental_conditions": {
    "temperature_c": 12,
    "cloud_cover": "partly_cloudy",
    "wind_speed_kmh": 15
  },
  "quality": {
    "validation_status": "expert_verified",
    "quality_flags": [],
    "confidence_level": 0.95
  }
}

환경 센서 데이터 스키마

자동화된 센서는 환경 측정값을 연속적인 스트림으로 생성한다. schema_type이 "sensor-timeseries"인 센서 데이터 스키마는 센서 메타데이터, 설치 정보, 측정값 배열의 세 부분으로 이루어지며, 일관된 구조를 유지하면서 다양한 센서 유형의 시계열을 수용한다.

센서 메타데이터와 설치 정보

sensor_metadata에서 필수 필드는 sensor_type, measurement_parameter, measurement_unit(QUDT 단위 어휘 사용), calibration_date이다. 제조사, 모델, 일련번호, 정밀도, 정확도, 검출 한계, 교정 인증서는 선택 필드이다. deployment에서는 설치 일시(deployment_date)와 위치(location)가 필수이며, 지상 높이, 지표 아래 깊이, 설치 환경은 선택이다.

시계열 데이터 형식

측정값은 data 객체 안에 시작·종료 시각, 측정 간격(초), 측정값 배열로 저장된다. 각 측정값 객체는 timestamp, value, qc_flag를 필수로 가지며, qc_notes는 선택이다.

{
  "wia_version": "1.0",
  "schema_type": "sensor-timeseries",
  "sensor_id": "TEMP-001",
  "sensor_metadata": {
    "sensor_type": "air_temperature",
    "manufacturer": "Campbell Scientific",
    "model": "CS215",
    "serial_number": "12345",
    "measurement_parameter": "air_temperature",
    "measurement_unit": "unit:DEG_C",
    "precision": 0.1,
    "accuracy": 0.3,
    "calibration_date": "2025-01-15",
    "calibration_certificate": "CAL-2025-001"
  },
  "deployment": {
    "deployment_date": "2025-02-01T09:00:00Z",
    "location": {"latitude": 47.6062, "longitude": -122.3321, "datum": "WGS84"},
    "height_above_ground": 2.0,
    "environment": "open_air"
  },
  "data": {
    "start_time": "2025-12-26T00:00:00Z",
    "end_time": "2025-12-26T23:55:00Z",
    "interval_seconds": 300,
    "readings": [
      {"timestamp": "2025-12-26T00:00:00Z", "value": 12.3, "qc_flag": "good"},
      {"timestamp": "2025-12-26T00:05:00Z", "value": 12.1, "qc_flag": "good"},
      {"timestamp": "2025-12-26T00:10:00Z", "value": 12.2, "qc_flag": "questionable",
       "qc_notes": "인접 값 대비 변화율 검사 경계"}
    ]
  }
}

레코드 전체의 record_id, timestamp, observer, quality 같은 기본 스키마 필드는 지면 관계상 생략했다. 일 평균·최솟값·최댓값 같은 요약 통계는 명세의 필수 구조가 아니므로, 필요하면 API의 집계 매개변수(제5장)로 구하거나 네임스페이스를 붙인 확장 필드로 담는다.

수질 스키마

수질 모니터링은 수생 생태계의 물리적·화학적·생물학적 매개변수를 측정한다. schema_type이 "water-quality-sample"인 수질 스키마에서 필수 필드는 sample_id와 sampling_method이며, 수체 이름(waterbody_name), 지점 ID(site_id), 채수 수심(sampling_depth_meters), 매개변수, 실험실 정보는 선택이다. sampling_method는 grab_sample(단일 순간 시료), composite(여러 시료를 합친 혼합 시료), in_situ(센서로 현장 측정), continuous(자동 연속 모니터링) 가운데 하나이다.

매개변수 필드 이름에는 단위가 붙어 있어 단위 혼동을 막는다. 아래 표의 일반적 범위와 정확도 목표는 현장 실무에서 흔히 쓰는 참고값이며 명세가 정한 규범 값이 아니다.

이 밖에 엽록소 a(chlorophyll_a_ugl, µg/L)와 염분(salinity_ppt, ppt)도 정의되어 있다.

시료 레코드 예시

{
  "wia_version": "1.0",
  "schema_type": "water-quality-sample",
  "record_id": "WQ-2025-456",
  "timestamp": "2025-12-26T10:00:00Z",
  "location": {
    "latitude": 47.6205,
    "longitude": -122.2842,
    "datum": "WGS84"
  },
  "observer": {"id": "field-team-03"},
  "sample_id": "WQ-2025-456",
  "waterbody_name": "Lake Washington",
  "site_id": "LW-SITE-03",
  "sampling_depth_meters": 5.0,
  "sampling_method": "grab_sample",
  "parameters": {
    "temperature_c": 8.5,
    "ph": 7.2,
    "dissolved_oxygen_mgl": 9.8,
    "turbidity_ntu": 3.2,
    "total_nitrogen_mgl": 0.45,
    "total_phosphorus_mgl": 0.018,
    "chlorophyll_a_ugl": 2.3
  },
  "laboratory": {
    "lab_name": "Example Environmental Lab",
    "analysis_date": "2025-12-27",
    "methods": {
      "total_nitrogen_mgl": "EPA 353.2",
      "total_phosphorus_mgl": "EPA 365.1"
    }
  },
  "quality": {
    "validation_status": "validated",
    "quality_flags": [],
    "confidence_level": 0.95
  }
}

대기질 스키마

대기질 모니터링은 대기 오염물질과 기상 조건을 추적한다. schema_type이 "air-quality-measurement"인 이 스키마는 관측소 ID(station_id)를 필수로 하며, 규제 준수 모니터링과 연구 응용을 모두 지원한다.

주요 매개변수

• 입자상 물질: pm25_ugm3, pm10_ugm3 (µg/m³)
• 가스: o3_ppb, no2_ppb, so2_ppb (ppb), co_ppm, co2_ppm (ppm)
• 기상: temperature_c, relative_humidity_percent, pressure_mb, wind_speed_ms, wind_direction_degrees
• 대기질 지수: aqi_value, aqi_category

벤젠, 톨루엔, 폼알데하이드 같은 휘발성 유기화합물(VOCs)은 1단계 대기질 스키마의 기본 필드에 들어 있지 않다. 이를 측정하는 프로그램은 확장 메커니즘(제3장)에 따라 네임스페이스를 붙인 필드로 추가한다.

토양 건강과 탄소 플럭스

1단계 명세는 적용 범위에 토양 건강 평가와 탄소 플럭스 측정을 포함하지만, v1.0에서는 이 둘에 대한 전용 스키마 유형을 아직 상세히 정의하지 않았다. 따라서 구현자는 기본 스키마 위에 도메인 필드를 얹는 방식으로 레코드를 구성한다. 아래 토양 시료 예시는 이러한 구성 방식을 보여 주는 예시이며, soil-sample이라는 스키마 유형 이름과 하위 필드 이름은 명세가 확정한 값이 아니다.

{
  "wia_version": "1.0",
  "schema_type": "soil-sample",
  "record_id": "SOIL-2025-789",
  "timestamp": "2025-12-26T11:30:00Z",
  "location": {"latitude": 47.61, "longitude": -122.33},
  "observer": {"id": "soil-team-01"},
  "quality": {"validation_status": "unvalidated"},
  "sampling_depth": {
    "top_cm": 0,
    "bottom_cm": 30,
    "horizon": "A"
  },
  "physical_properties": {
    "texture": "loam",
    "sand_percent": 40,
    "silt_percent": 40,
    "clay_percent": 20,
    "bulk_density_gcm3": 1.3,
    "moisture_percent": 25
  },
  "chemical_properties": {
    "ph": 6.5,
    "organic_matter_percent": 4.2,
    "total_nitrogen_percent": 0.21,
    "available_phosphorus_ppm": 45,
    "potassium_ppm": 180,
    "cec_meq100g": 18.5
  },
  "biological_properties": {
    "microbial_biomass_carbon_ugcg": 450,
    "respiration_rate_ugco2gh": 12
  }
}

통제 어휘

표준화된 어휘는 데이터셋 전반에서 일관된 용어를 보장하여 자동 처리와 통합을 가능하게 한다. WIA는 주요 필드에 대한 통제 어휘를 정의하며, 서식지는 ENVO, 단위는 QUDT처럼 기존의 외부 권위 체계와 연계한다.

탐지 방법

• visual_survey - 직접 관찰
• camera_trap - 동작 감지 카메라
• acoustic_monitoring - 음향 녹음
• edna - 환경 DNA 시료 채취
• telemetry - 무선 또는 GPS 추적
• mark_recapture - 포획-표지-재포획
• remote_sensing - 위성 또는 항공 영상
• specimen - 실물 표본 채집

품질 플래그

센서 측정값의 qc_flag에는 다음 다섯 값만 쓴다. 레코드 전체의 검증 상태를 나타내는 validation_status와는 별개의 어휘이다.

메타데이터 표준

모든 데이터셋에는 그 맥락, 방법, 품질, 접근 조건을 기록한 포괄적인 메타데이터가 반드시 포함되어야 한다. WIA 메타데이터는 ISO 19115와 EML을 생태계 모니터링 고유의 요소로 확장한다.

데이터셋 수준 메타데이터

• 제목, 초록, 키워드(필수): 명확하고 서술적인 데이터셋 식별 정보
• 저자 및 연락처(필수): 데이터를 생성하고 유지 관리하는 주체. 재원(funding_sources)은 선택
• 시간적 범위: 시작일은 필수, 종료일은 선택(진행 중인 모니터링)
• 지리적 범위: [minLon, minLat, maxLon, maxLat] 순서의 경계 상자(필수)와 설명(선택)
• 분류학적 범위(선택): 포함된 종 또는 분류군
• 방법: 방법 설명은 필수, 프로토콜 URL과 표본 설계는 선택
• 품질 보증: QA 설명은 필수, 검증 절차는 선택
• 접근: 라이선스와 인용 정보는 필수, 이용 제한은 선택
• 관련 자료(선택): 출판물, 관련 데이터셋의 URL 또는 DOI

파일 형식 규약

• 단일 레코드 파일: UTF-8로 인코딩한 JSON, 확장자 .json, 필요하면 gzip 압축(.json.gz)
• 다중 레코드 파일: 한 줄에 레코드 하나를 담는 NDJSON, 확장자 .ndjson 또는 .jsonl, 대용량이면 gzip 압축 권장
• 일괄 제출: 레코드의 JSON 배열. 파일당 최대 10,000건을 권장하며, 그보다 크면 NDJSON을 쓴다

검증 및 품질 보증

1단계 명세에 따르면 WIA를 준수하는 모든 데이터는 다음 여덟 가지 검증을 통과해야 한다.

1. 스키마 검증: 데이터 구조가 JSON 스키마와 일치한다
2. 필수 필드: 모든 필수 필드가 존재하고 null이 아니다
3. 데이터 유형: 값이 지정된 유형과 일치한다
4. 범위 검사: 수치가 유효 범위 안에 있다. 음수 개체 수, 0-14를 벗어난 pH, 절대 영도 미만의 온도가 그 예이다
5. 좌표 검증: 위도는 -90~90, 경도는 -180~180이다
6. 시간 검증: 날짜가 미래가 아니며, 종료 시각이 시작 시각보다 앞서지 않는다
7. 분류학적 검증: 학명이 지정한 명명 권위에서 확인된다
8. 품질 플래그: QC 플래그가 통제 어휘에 속한다

JSON Schema 검증기는 1~3번 검사를 자동으로 수행하며, 데이터 생성 시점에 실행하면 오류를 조기에 발견할 수 있다. 이 밖에 시료 채취일이 분석일보다 앞서는지, 분류 계급이 서로 일관되는지, 좌표가 장소명과 맞는지 같은 필드 간 일관성 검사를 추가로 두면 논리적 불일치를 더 많이 잡아낼 수 있다.