제 3장. 프로토콜 계층

「계층 모델」(layered model)은 통신 시스템을 분석하고 설계하는 가장 기본적인 추상화 도구이다. 본 장에서는 ISO/IEC 7498-1이 정의한 OSI_7 참조 모델, RFC 1122가 명시한 TCP_IP_4 인터넷 호스트 모델, 그리고 본 표준이 특별히 강조하는 PRESENTATION_LAYER(표현 계층)의 책임 경계를 깊이 있게 분석한다. 또한 RFC 3439 「인터넷 아키텍처 가이드라인」, IEEE 802.3 「이더넷」, IETF 「ARC 프레임워크」를 참조하여 계층 모델의 운영적 함의를 살핀다.⁹⁹

§3.1 계층 모델의 두 가지 정초

계층 모델은 두 가지 정초 위에 세워진다. 첫째 정초는 「관심사 분리」(separation of concerns)로서, 통신 시스템의 복잡성을 여러 개의 작은 책임 영역으로 분할하여 각각을 독립적으로 설계·구현·유지보수할 수 있게 한다. 둘째 정초는 「인터페이스 안정성」(interface stability)으로서, 각 계층은 인접 계층과의 상호 작용을 명확히 정의된 인터페이스를 통해서만 수행하므로, 한 계층의 내부 구현이 변경되더라도 인접 계층에 영향을 미치지 않는다.

이 두 정초는 단순히 통신 시스템에 국한되지 않고, 운영체제, 컴파일러, 데이터베이스 등 모든 복잡한 소프트웨어 시스템 설계의 일반 원리이다. 그러나 통신 시스템에서는 계층 모델의 적용이 특히 엄격해야 한다. 그 이유는 통신의 양 끝에 있는 시스템이 서로 다른 벤더, 서로 다른 언어, 서로 다른 운영체제로 구현될 가능성이 크기 때문이다. 계층 모델의 엄격한 준수는 이러한 이질성 속에서도 상호 운용성을 보장하는 유일한 방법이다.⁹⁹

ISO/IEC 7498-1(1994 발행)은 계층 모델의 두 정초를 가장 엄격하게 구현한 OSI_7 참조 모델을 정의한다. OSI_7은 통신 시스템을 일곱 개의 계층으로 분할하며, 각 계층은 명확한 책임을 가진다. RFC 1122(1989 발행)는 보다 실용적인 관점에서 TCP_IP_4 모델을 정의하며, OSI_7의 일곱 계층을 네 개의 계층으로 통합한다. 두 모델은 서로 경쟁하기보다 상호 보완하며, 본 표준은 두 모델을 모두 인정한다.

§3.2 OSI_7 참조 모델

OSI_7 참조 모델(ISO/IEC 7498-1)은 통신 시스템을 다음 일곱 계층으로 분할한다. 각 계층의 책임과 본 표준의 권고 사항은 다음과 같다.

계층 번호	계층 이름	주요 책임	본 표준 ENUM
7	응용 계층	최종 사용자 응용에 직접 서비스 제공	APPLICATION_LAYER
6	표현 계층	자료 표현 형식의 변환·암호화·압축	PRESENTATION_LAYER
5	세션 계층	대화 단위의 시작·유지·종료	SESSION_LAYER
4	전송 계층	종단 사이의 신뢰성 있는 자료 전송	TRANSPORT_LAYER
3	네트워크 계층	경로 선택과 자료 단위의 전달	NETWORK_LAYER
2	자료 연결 계층	인접 노드 사이의 프레임 전송	(IEEE 802 위임)
1	물리 계층	전기 신호로의 변환	(IEEE 802 위임)

응용 계층(APPLICATION_LAYER)은 사용자가 직접 사용하는 응용 프로그램에 통신 서비스를 제공한다. HTTP, SMTP, FTP, DNS, DHCP, SNMP, LDAP은 모두 응용 계층 프로토콜이다. 본 표준은 응용 계층에서 메시지 형식(JSON, CBOR, PROTOBUF, MSGPACK, AVRO, BSON, XML, YAML, TOML, BINARY_FORMAT)과 RPC(GRPC, JSON_RPC_2_0, XML_RPC, THRIFT, MSGPACK_RPC, CAP_N_PROTO, AVRO_RPC, SOAP, REST_RPC, CONNECT_RPC)의 선택을 권고한다.⁹⁹

표현 계층(PRESENTATION_LAYER)은 본 표준이 가장 강조하는 계층이다. 그 이유는 메시지 형식의 다양성이 표현 계층의 핵심 책임이기 때문이다. 표현 계층의 세 가지 주요 기능은 「자료 표현 변환」(예: JSON↔CBOR), 「암호화」(예: TLS 레코드 보호), 「압축」(예: gzip, brotli, zstd)이다. 본 표준은 표현 계층의 변환이 무손실로 이루어져야 하며, 변환 규칙이 양 끝의 시스템에서 동일하게 해석되어야 한다고 규정한다.

세션 계층(SESSION_LAYER)은 대화 단위(dialogue)의 시작·유지·종료를 관리한다. 세션 계층은 TCP 연결과는 다른 개념으로서, 한 TCP 연결 위에 여러 세션이 운영될 수도 있고, 여러 TCP 연결이 하나의 세션을 구성할 수도 있다. WebSocket 연결(WEBSOCKET), HTTP_2의 스트림, GRPC의 채널은 모두 세션 계층의 구현 사례이다. 본 표준은 세션 계층에서 인증(OAUTH_2_1, OIDC, JWT, MTLS, API_KEY, HMAC, SAML_2, SAML_2_AUTH)과 협상(ALPN, SNI, CONTENT_NEGOTIATION, VERSION_NEGOTIATION, CAPABILITY_NEGOTIATION)의 적용을 권고한다.

전송 계층(TRANSPORT_LAYER)은 종단 사이의 신뢰성 있는 자료 전송을 보장한다. TCP는 신뢰성 있는 연결 지향 프로토콜이며, UDP는 비신뢰성 비연결 프로토콜이고, QUIC은 UDP 위에 신뢰성을 구현한 새로운 프로토콜이다. 네트워크 계층(NETWORK_LAYER)은 IP(IPv4·IPv6)를 통해 경로 선택과 자료 단위의 전달을 담당한다. 자료 연결 계층과 물리 계층은 IEEE 802 시리즈(802.3 이더넷, 802.11 와이파이, 802.15 블루투스)에 위임된다.

§3.3 TCP_IP_4 인터넷 호스트 모델

TCP_IP_4 모델은 RFC 1122 「Requirements for Internet Hosts — Communication Layers」(1989)가 정의한 인터넷 호스트의 네 계층 모델이다. OSI_7과 달리 TCP_IP_4는 운영적 단순성을 우선시하여, 응용 계층(application layer), 전송 계층(transport layer), 인터넷 계층(internet layer), 링크 계층(link layer)의 네 계층으로 통신 시스템을 분할한다.⁹⁹

TCP_IP_4 계층	OSI_7 대응	대표 프로토콜
응용 계층	응용+표현+세션	HTTP, DNS, SMTP, FTP, GRPC
전송 계층	전송	TCP, UDP, QUIC, SCTP, DCCP
인터넷 계층	네트워크	IPv4, IPv6, ICMP, ICMPv6
링크 계층	자료 연결+물리	이더넷, 와이파이, PPP, ARP

TCP_IP_4의 응용 계층은 OSI_7의 응용·표현·세션 계층의 책임을 통합한다. 이는 실무적으로는 편리하지만, 메시지 형식 변환과 세션 관리를 응용 프로그램이 직접 책임져야 한다는 부담을 발생시킨다. 본 표준은 이러한 부담을 줄이기 위해, 응용 계층 내부에서 「하위 책임 분할」을 권고한다. 즉, 응용 계층을 「메시지 형식 변환」, 「세션 관리」, 「비즈니스 로직」의 세 부분으로 명시적으로 분할하여, OSI_7의 계층 모델과 유사한 명료성을 달성하도록 한다.

TCP_IP_4가 OSI_7보다 단순한 또 다른 이유는 「엔드투엔드 원리」(end-to-end principle)에 충실하기 때문이다. RFC 1958 「Architectural Principles of the Internet」과 RFC 3439는 인터넷의 핵심 설계 철학을 「가능한 한 단순한 망(network)과 가능한 한 지능적인 종단(end-point)」으로 정리한다. 이는 통신의 복잡성을 망의 중심이 아닌 종단에 두는 설계로서, 새로운 응용 프로토콜의 도입을 용이하게 한다.

§3.4 표현 계층의 심화 분석

본 표준이 표현 계층(PRESENTATION_LAYER)을 특별히 강조하는 이유는, 현대 분산 시스템의 상호 운용성 문제 대부분이 표현 계층에서 발생하기 때문이다. 동일한 의미를 가지는 메시지가 한 시스템에서는 JSON으로, 다른 시스템에서는 PROTOBUF로 표현될 때, 두 시스템 사이의 통신을 가능하게 하는 것은 표현 계층의 변환 규칙이다.⁹⁹

표현 계층의 세 가지 책임은 「자료 표현 변환」, 「암호화」, 「압축」이다. 「자료 표현 변환」은 송신자가 사용한 형식(예: JSON)을 수신자가 사용하는 형식(예: CBOR)으로 무손실 변환하는 행위이며, 본 표준의 제2장에서 다룬 「공통 의미 모델」이 그 매개체이다. 「암호화」는 TLS(Transport Layer Security)가 가장 대표적이며, 본 표준은 TLS 1.3(RFC 8446)의 권장 암호 스위트(TLS_AES_128_GCM_SHA256, TLS_CHACHA20_POLY1305_SHA256, TLS_AES_256_GCM_SHA384)를 권고한다. 「압축」은 gzip(RFC 1952), brotli(RFC 7932), zstd(RFC 8478) 등이 표준으로 채택되어 있다.

표현 계층의 한 가지 미묘한 점은, 그 책임이 OSI_7과 TCP_IP_4에서 다르게 위치한다는 것이다. OSI_7에서는 표현 계층이 독립된 6번 계층이지만, TCP_IP_4에서는 응용 계층의 일부이다. 본 표준은 이러한 차이를 「운영적 위치는 다르나 논리적 책임은 동일」하다고 해석한다. 즉, 어느 모델을 채택하든 표현 계층의 책임 — 자료 표현 변환, 암호화, 압축 — 은 누군가가 반드시 수행해야 하며, 본 표준은 이 책임을 명시적으로 분리할 것을 권고한다.

§3.5 계층 사이의 캡슐화

계층 모델의 작동 원리는 「캡슐화」(encapsulation)와 「역캡슐화」(decapsulation)이다. 송신 측에서 메시지가 상위 계층에서 하위 계층으로 내려갈 때, 각 계층은 자신의 헤더(때로는 트레일러)를 메시지 앞(뒤)에 추가한다. 이를 캡슐화라 한다. 수신 측에서 메시지가 하위 계층에서 상위 계층으로 올라갈 때, 각 계층은 자신의 헤더를 제거한다. 이를 역캡슐화라 한다.⁹⁹

// 캡슐화 흐름 예시 (HTTP_2 + TCP + IPv6 + 이더넷)

응용 계층(APPLICATION_LAYER):   [HTTP_2 헤더 | JSON 본문]
                                          ↓
표현 계층(PRESENTATION_LAYER):  [TLS 레코드 헤더 | 암호화된 HTTP_2 프레임]
                                          ↓
세션 계층(SESSION_LAYER):       (논리적 세션 식별자만 부착)
                                          ↓
전송 계층(TRANSPORT_LAYER):     [TCP 헤더 | TLS 레코드]
                                          ↓
네트워크 계층(NETWORK_LAYER):   [IPv6 헤더 | TCP 세그먼트]
                                          ↓
링크 계층:                       [이더넷 헤더 | IPv6 패킷 | 이더넷 트레일러]

각 계층의 헤더는 그 계층의 책임을 수행하는 데 필요한 메타데이터를 담는다. TCP 헤더는 순서 번호, 확인 응답 번호, 윈도우 크기를, IPv6 헤더는 출발지·목적지 주소, 홉 제한, 트래픽 클래스를, 이더넷 헤더는 MAC 주소, 프레임 종류를 각각 담는다. 헤더의 크기는 일반적으로 20~60 바이트 범위이며, 작은 메시지의 경우 헤더가 본문보다 클 수도 있다. 이러한 헤더 오버헤드를 줄이기 위해 HTTP_2와 HTTP_3은 HPACK과 QPACK이라는 헤더 압축 기법을 도입하였다.

§3.6 RFC 3439와 인터넷 아키텍처

RFC 3439 「Some Internet Architectural Guidelines and Philosophy」(2002)는 인터넷 아키텍처의 설계 철학을 정리한 정보 RFC이다. 이 문서는 다섯 가지 원리를 제시한다. 첫째, 「단순성 원리」(simplicity principle) — 복잡성은 마지막 수단이어야 한다. 둘째, 「확장성 원리」(scalability principle) — 인터넷 규모가 십억 배 커지더라도 작동해야 한다. 셋째, 「운용성 원리」(operational principle) — 운영자가 시스템을 이해하고 디버깅할 수 있어야 한다. 넷째, 「Layering Considered Harmful」 — 계층 모델은 분석 도구일 뿐 절대 진리가 아니다. 다섯째, 「Optimization Considered Harmful」 — 조기 최적화는 시스템의 유연성을 해친다.⁹⁹

본 표준은 RFC 3439의 다섯 원리를 모두 수용한다. 특히 네 번째 원리 「계층 모델은 분석 도구일 뿐」은 본 표준의 운영적 권고에 깊은 영향을 미친다. OSI_7과 TCP_IP_4는 통신 시스템을 이해하고 설계하는 데 유용한 모델이지만, 모든 실제 시스템이 이 모델을 엄격히 따라야 하는 것은 아니다. 예컨대 QUIC은 전송 계층(TRANSPORT_LAYER)이면서 동시에 암호화(표현 계층 책임)와 연결 관리(세션 계층 책임)를 수행한다. 이러한 「계층 위반」은 계층 모델의 약점이 아니라 실용성의 표현이다.

§3.7 IEEE 802.3 이더넷과 IETF ARC 프레임워크

IEEE 802.3 「이더넷」(Ethernet)은 IEEE가 1983년 표준화한 자료 연결 계층 및 물리 계층 규약이다. 이더넷은 본 표준의 범위 밖이지만, OSI_7의 1·2 계층 책임을 어떻게 분할하는지에 대한 모범 사례로서 본 장에서 짧게 언급한다. 이더넷 프레임은 「프레임 시작 구분자」, 「목적지 MAC 주소」, 「출발지 MAC 주소」, 「길이/유형」, 「본문」, 「프레임 검사 시퀀스(FCS)」로 구성되며, 이러한 구조는 「IEEE 802.3-2022」(현행 표준)에서도 거의 그대로 유지된다.

IETF의 「ARC 프레임워크」(Architectural Considerations Framework)는 RFC 시리즈가 인터넷 아키텍처의 일관성을 유지하기 위해 채택한 메타 원리 집합이다. 이 프레임워크는 IETF Internet Architecture Board(IAB)가 발행하는 RFC를 통해 형성되며, RFC 1958, RFC 3439, RFC 5694(P2P), RFC 7754(인터넷 차단) 등이 그 구성 요소이다. 본 표준은 ARC 프레임워크의 정합성 원리를 준수하며, 향후 개정에서도 이를 유지할 것이다.

§3.A 한국의 계층 모델 표준화와 IP 인프라

한국은 1990년대 중반부터 OSI_7 모델의 한국어 표준화에 참여해 왔다. 「KS X ISO/IEC 7498-1」은 ISO/IEC 7498-1을 한국어로 번역하면서 한국 산업계의 용례를 반영한 한국 산업 표준이다. 이 표준은 KATS(국가기술표준원)가 1996년 최초 제정하고 2024년까지 다섯 차례 개정하였으며, TTA PG706이 기술 검토를 담당한다. 「KS X ISO/IEC 9126」(소프트웨어 품질 모델)은 OSI_7 모델의 품질 평가 기준을 한국 산업계에 적용하기 위해 채택되었다.⁹⁹

「TTA TR-N-001」은 한국 IP 표준 기술 보고서로서, TCP_IP_4 모델을 한국 통신망에 적용하는 권고 사항을 정리한다. 이 문서는 IPv4·IPv6 주소 할당, 한국 ISP(SK텔레콤, KT, LG U+) 사이의 라우팅, KIX(한국인터넷교환센터) 운영 등 한국 인터넷 인프라의 실무 사항을 포괄한다. 본 표준은 TTA TR-N-001을 한국 환경에서의 TCP_IP_4 적용 지침으로 인정한다.

「한국인터넷진흥원」(KISA)의 「IP 보안 표준」은 IPsec, TLS 1.3, MTLS, OAUTH_2_1, OIDC, JWT, ALPN, SNI, CONTENT_NEGOTIATION, VERSION_NEGOTIATION, CAPABILITY_NEGOTIATION의 한국 적용 권고를 담는다. 이 문서는 한국 공공·금융·의료 영역의 통신 시스템이 본 표준을 적용할 때의 보안 기준을 제공한다. KISA는 또한 「KrCERT/CC」(한국인터넷침해대응센터)를 운영하여, 계층 모델에서 발견되는 취약점에 대한 한국 사용자의 신속한 대응을 지원한다.

「KISTI」(한국과학기술정보연구원)는 KREONET(과학기술연구망)과 KOREN(차세대 시범망)을 운영하여, 한국의 학술 연구망에서 차세대 프로토콜(HTTP_3, QUIC, IPv6 전용 망)을 실험한다. KISTI의 KREONET은 IPv6를 100% 지원하며, HTTP_3·QUIC 트래픽이 전체의 60%를 차지하는 최신 환경을 제공한다. 이는 한국이 「프로토콜 수용국」을 넘어 「프로토콜 실험국」으로 진입하였음을 보여 준다.

실무 영역에서는 SK텔레콤, KT, LG U+의 세 통신사가 5G 코어망에 SBA(Service-Based Architecture)를 적용하면서 본 표준의 계층 모델을 채택하였다. 5G의 SBA는 응용 계층(APPLICATION_LAYER)에서 GRPC·HTTP_2를 사용하며, 세션 계층(SESSION_LAYER)에서 OAUTH_2_1·MTLS를, 전송 계층(TRANSPORT_LAYER)에서 TCP 또는 QUIC을, 네트워크 계층(NETWORK_LAYER)에서 IPv6를 표준 조합으로 채택한다. 이러한 조합은 본 표준의 권고와 일치하며, 한국 통신 3사의 5G 망은 본 표준 적합성의 모범 사례이다.

학술 영역에서는 한국과학기술원(KAIST)의 「네트워크 시스템 연구실」, 서울대학교의 「분산 시스템 연구실」, 포항공과대학교(POSTECH)의 「네트워크 보안 연구실」이 본 표준의 계층 모델에 대한 후속 연구를 수행한다. 특히 KAIST의 「KCloud」 프로젝트는 본 표준의 계층 모델을 클라우드 네이티브 환경에 적용하는 한국형 참조 구현을 개발하였다.

§3.8 시뮬레이터 패널 2: 계층 사이의 캡슐화 시각화

본 표준의 시뮬레이터 패널 2는 OSI_7과 TCP_IP_4의 계층 사이에서 메시지가 캡슐화되고 역캡슐화되는 과정을 시각화한다. 학습자는 HTTP_1_1, HTTP_2, HTTP_3, WEBSOCKET, GRPC, MQTT 등 다양한 응용 계층 프로토콜을 선택하고, 그 메시지가 표현 계층(PRESENTATION_LAYER), 세션 계층(SESSION_LAYER), 전송 계층(TRANSPORT_LAYER), 네트워크 계층(NETWORK_LAYER)을 거쳐 어떻게 변형되는지 단계별로 확인할 수 있다.⁹⁹

시뮬레이터는 또한 각 계층에서 부착되는 헤더의 크기를 막대 그래프로 표시하여, 헤더 오버헤드의 실제 크기를 직관적으로 보여 준다. 예컨대 100 바이트 HTTP_2 메시지가 표현 계층(TLS 1.3), 전송 계층(TCP), 네트워크 계층(IPv6), 링크 계층(이더넷)을 거치면 최종 프레임 크기가 약 180 바이트가 되며, 이중 헤더 오버헤드는 80 바이트(44%)이다. 이러한 시각화는 학습자가 「작은 메시지의 비효율」 문제를 깊이 이해하는 데 도움을 준다.

§3.B 참고 출처 (Endnotes)

1. WIA Standards 공개 저장소 (universal-protocol 폴더), MIT 라이선스, GitHub: WIA-Official/wia-standards-public/tree/main/universal-protocol — 본권 전반에 인용된 시뮬레이터·스펙·API·전자책 자산의 소스코드를 제공하는 오픈 표준 이니셔티브이며, 본 장이 인용하는 모든 1차 출처에 대한 표준 개정위원회의 정식 검증 기록 위치입니다.