VXLAN 기술 완벽 분석 – L3 망 위에서 L2 통신이 가능한 이유와 OSPF, BGP 연동 핵심 3가지

 

VXLAN 기술 완벽 분석

L3 망 위에서 L2 통신이 가능한 이유와 OSPF, BGP 연동 핵심 3가지

"VXLAN"을 사용하면 물리적으로 서로 다른 L3 네트워크에 연결된 서버들이 마치 같은 스위치에 꽂혀 있는 것처럼 L2 수준의 통신을 할 수 있다. 이를 오버레이 네트워크(Overlay Network)라고 부른다.

데이터센터에서 서버를 수천 대 돌리다 보면, 기존 VLAN 방식으로는 한계에 부딪힌다. 그래서 나온 게 "VXLAN"이다. 그리고 이 오버레이 네트워크가 동작하려면 언더레이(Underlay) 네트워크, 즉 물리 L3 네트워크가 제대로 구성돼 있어야 한다. 여기서 OSPF와 BGP가 등장한다.

📌 목차

• VXLAN이 왜 필요한가 – VLAN의 한계
• VXLAN 동작 원리 – 터널링과 캡슐화
• VTEP – VXLAN의 핵심 장치
• OSPF – 내부 네트워크의 길을 찾는 방법
• BGP – 인터넷을 연결하는 프로토콜
• OSPF와 BGP의 차이, 그리고 실무에서 쓰는 방식
• 정리 및 추천 태그

---

🧱 VXLAN이 왜 필요한가 – VLAN의 한계

기존 VLAN은 논리적으로 네트워크를 분리하는 방법이다. 근데 VLAN에는 치명적인 한계가 있다. VLAN ID가 12비트라 최대 4,094개밖에 못 만든다. 클라우드 환경에서 수만 개의 테넌트(고객)를 격리해야 하는 상황에는 턱없이 부족하다.

또 하나, VLAN은 L2 네트워크다. L3 라우터를 넘어가면 VLAN이 안 된다. 물리적으로 떨어진 데이터센터 두 곳에 있는 서버가 같은 VLAN에 있을 수가 없다는 얘기다. 클라우드나 멀티 데이터센터 환경에서 이건 심각한 제약이다.

"VXLAN"은 이 두 가지 문제를 동시에 해결한다. VNI(VXLAN Network Identifier)가 24비트라 약 1,600만 개의 논리 네트워크를 만들 수 있다. 그리고 L3 네트워크 위에서 동작하기 때문에 물리적 위치 제약이 없다.

---

🔧 VXLAN 동작 원리 – 터널링과 캡슐화

"VXLAN"의 동작 원리를 한 줄로 설명하면 이렇다: L2 이더넷 프레임을 UDP 패킷으로 감싸서(캡슐화) L3 네트워크를 통해 보낸다.

쉽게 비유하면, 편지(L2 프레임)를 택배 박스(UDP/IP 헤더)에 넣어서 전국 배송망(L3 네트워크)으로 보내는 거다. 목적지 서버에 도착하면 택배 박스를 뜯고 편지(원래 L2 프레임)를 꺼낸다.

패킷 구조를 보면:

• 원본 이더넷 프레임 (L2)
• 여기에 VXLAN 헤더 (8바이트, VNI 포함)가 붙고
• UDP 헤더 (목적지 포트 4789)가 붙고
• IP 헤더 (L3 라우팅을 위해)가 붙고
• 외부 이더넷 헤더가 붙는다

원래 패킷 위에 헤더들이 쌓이다 보니 오버헤드가 생긴다. 그래서 MTU 설정이 중요해진다. 기본 MTU 1500에 VXLAN 오버헤드(50바이트)를 더하면 실제로 Jumbo Frame(MTU 9000) 환경이 권장된다.

---

📡 VTEP – VXLAN의 핵심 장치

"VXLAN"에서 캡슐화와 역캡슐화를 담당하는 장치가 **VTEP(VXLAN Tunnel Endpoint)**다. VTEP가 L2 프레임을 받아서 VXLAN 헤더를 붙이고 UDP로 만들어서 보내고, 반대편에서 받아서 원래 L2 프레임으로 복원한다.

VTEP는 소프트웨어로 구현할 수도 있고(리눅스 커널에 내장), 하드웨어 스위치가 지원하기도 한다. 쿠버네티스 환경에서 Flannel, Calico 같은 CNI 플러그인들이 VXLAN을 쓸 때는 각 노드의 가상 인터페이스가 VTEP 역할을 한다.

VTEP가 어떻게 목적지 VTEP를 찾느냐는 문제가 있다. 초기 방식은 멀티캐스트를 썼는데, 이게 운영이 복잡하다. 현대적인 방식은 BGP EVPN(Ethernet VPN)을 사용해서 VTEP 정보를 분산 배포한다.

---

🗺️ OSPF – 내부 네트워크의 길을 찾는 방법

VTEP들이 서로를 찾으려면 언더레이 네트워크(물리 L3 망)에서 라우팅이 돼야 한다. 여기서 OSPF가 등장한다.

"OSPF(Open Shortest Path First)"는 링크 상태 라우팅 프로토콜이다. 각 라우터가 자신과 연결된 링크 정보(상태, 비용)를 모든 라우터에게 전파하고, 각 라우터는 전체 네트워크 토폴로지 맵을 가지고 최단 경로를 직접 계산한다.

OSPF의 특징을 보면:

• 빠른 수렴: 링크 장애가 생기면 몇 초 안에 전체가 새로운 경로를 계산한다
• 비용 기반 경로 선택: 인터페이스 대역폭을 기준으로 비용을 계산해서 최적 경로를 고른다
• Area 개념: 규모가 커지면 네트워크를 Area로 나눠서 LSA 전파 범위를 제한한다. Area 0이 백본 역할을 한다

데이터센터 내부 언더레이 네트워크에서 OSPF는 매우 자주 쓰인다. 특히 리프-스파인(Leaf-Spine) 아키텍처에서 언더레이 라우팅으로 OSPF나 BGP 중 하나를 선택한다.

---

🌐 BGP – 인터넷을 연결하는 프로토콜

"BGP(Border Gateway Protocol)"는 인터넷의 근간을 이루는 프로토콜이다. AS(Autonomous System, 자율 시스템)들 사이에서 경로 정보를 교환한다. AS는 쉽게 말해 하나의 조직이 관리하는 네트워크 덩어리다. 통신사(KT, SKT), 구글, 아마존 등이 각각 하나의 AS다.

BGP의 특징:

• 경로 벡터 프로토콜: OSPF와 달리 링크 상태 정보가 아니라 AS 경로 목록을 전파한다
• 정책 기반: 비용만으로 경로를 정하는 게 아니라 다양한 정책(지역 선호도, MED, 커뮤니티)을 적용할 수 있다
• 느린 수렴: 장애 시 수렴 시간이 OSPF보다 길다. 대신 안정성을 위해 설계된 거다
• eBGP vs iBGP: 다른 AS 간은 eBGP, 같은 AS 내부는 iBGP를 쓴다

---

⚖️ OSPF와 BGP의 차이, 그리고 실무에서 쓰는 방식

헷갈리는 부분을 정리하면

용도	내부 네트워크(IGP)	외부 네트워크(EGP)
수렴 속도	빠름 (초 단위)	느림 (분 단위 가능)
경로 선택 기준	비용(Cost)	다양한 정책 속성
주요 사용 환경	데이터센터 내부, 기업 내부망	인터넷, 멀티 AS 환경

실무 패턴을 보면, 데이터센터 내부 언더레이에는 OSPF 또는 eBGP(Unnumbered BGP)를 쓰고, VXLAN EVPN 컨트롤 플레인으로 BGP를 쓰고, 인터넷 연결에는 eBGP를 쓴다.

최근 대규모 데이터센터(하이퍼스케일 환경)에서는 언더레이도 BGP로 통일하는 추세다. 관리 포인트를 줄이기 위해서다.

---

"VXLAN"은 물리 네트워크의 제약을 소프트웨어로 극복하는 오버레이 기술이고, OSPF와 BGP는 그 오버레이가 올라타는 언더레이 네트워크를 동작시키는 엔진이다. 이 세 가지를 이해하면 현대 데이터센터 네트워크 구조의 절반 이상은 이해한 거라고 봐도 된다.

---

출처 및 참고

• RFC 7348 - VXLAN: https://www.rfc-editor.org/rfc/rfc7348
• RFC 2328 - OSPF Version 2: https://www.rfc-editor.org/rfc/rfc2328
• RFC 4271 - BGP-4: https://www.rfc-editor.org/rfc/rfc4271
• Cisco VXLAN EVPN 문서: https://www.cisco.com/c/en/us/products/collateral/switches/nexus-9000-series-switches/white-paper-c11-729383.html