0x2A Engineering

03. Datacenter Network Topology

8 min read

Datacenter Network Topology

3-Tier vs Spine-Leaf 구조, ECMP, Oversubscription, VXLAN/BGP

🎯 개요

토폴로지시대특징
3-Tier전통계층적, North-South 최적화
Spine-Leaf현대평면적, East-West 최적화

🏛️ 전통 3-Tier 구조

아키텍처

flowchart TB
    Core["Core - Router"]
    
    Agg1["Aggregation"]
    Agg2["Aggregation"]
    Agg3["Aggregation"]
    
    Acc1["Access (L2)"]
    Acc2["Access (L2)"]
    Acc3["Access (L2)"]
    Acc4["Access (L2)"]
    Acc5["Access (L2)"]
    Acc6["Access (L2)"]
    
    S1["Servers"]
    S2["Servers"]
    S3["Servers"]
    S4["Servers"]
    S5["Servers"]
    S6["Servers"]
    
    Core --> Agg1 & Agg2 & Agg3
    Agg1 --> Acc1 & Acc2
    Agg2 --> Acc3 & Acc4
    Agg3 --> Acc5 & Acc6
    Acc1 --> S1
    Acc2 --> S2
    Acc3 --> S3
    Acc4 --> S4
    Acc5 --> S5
    Acc6 --> S6

3계층 역할

계층장비역할
Core라우터/L3 스위치외부 연결, 고속 백본
AggregationL3 스위치라우팅, 정책, VLAN 집선
AccessL2 스위치서버/엔드포인트 연결

트래픽 패턴

North-South 트래픽:

flowchart TB
    Internet["인터넷/외부"]
    Core["Core"]
    Servers["Servers"]
    
    Internet <-->|"North-South"| Core
    Core <--> Servers

클라이언트 ↔ 서버 간 트래픽. 전통적 웹 서비스 환경.

장단점

장점단점
검증된 구조East-West 비효율
관리 용이STP 병목
계층별 역할 명확확장 시 복잡도 증가
Oversubscription

STP (Spanning Tree Protocol) 문제

루프 방지를 위해 일부 링크를 비활성화함 → 대역폭 낭비.

flowchart TB
    Agg["Aggregation"]
    Acc1["Access 1"]
    Acc2["Access 2"]
    
    Agg --> Acc1
    Agg --> Acc2
    Acc1 -.->|"STP 차단 - 루프 방지"| Acc2

🌿 Spine-Leaf 구조

아키텍처

flowchart TB
    subgraph Spines["Spine Layer (백본)"]
        S1["Spine 1"]
        S2["Spine 2"]
        S3["Spine 3"]
        S4["Spine 4"]
    end
    
    subgraph Leaves["Leaf Layer (ToR)"]
        L1["Leaf 1"]
        L2["Leaf 2"]
        L3["Leaf 3"]
        L4["Leaf 4"]
        L5["Leaf 5"]
    end
    
    S1 --- L1 & L2 & L3 & L4 & L5
    S2 --- L1 & L2 & L3 & L4 & L5
    S3 --- L1 & L2 & L3 & L4 & L5
    S4 --- L1 & L2 & L3 & L4 & L5
    
    L1 --- R1["Rack 1"]
    L2 --- R2["Rack 2"]
    L3 --- R3["Rack 3"]
    L4 --- R4["Rack 4"]
    L5 --- R5["Rack 5"]

핵심: 모든 Leaf가 모든 Spine에 연결.

2계층 역할

계층역할특징
Spine백본, Leaf 간 연결서버 직접 연결 없음
Leaf서버/ToR 연결Top of Rack 스위치

트래픽 패턴

East-West 트래픽:

flowchart LR
    SA["Server A (Leaf 1)"]
    Spine["Spine (1홉)"]
    SB["Server B (Leaf 3)"]
    
    SA <-->|"East-West"| Spine <--> SB

현대 데이터센터: 마이크로서비스, 분산 스토리지, 빅데이터 → 서버 간 통신 폭증.

장단점

장점단점
East-West 최적화초기 비용 높음
예측 가능한 지연 (2홉)케이블링 복잡
STP 불필요 (ECMP)기존 인프라 재설계
비차단 (Non-blocking)
쉬운 수평 확장

🆚 3-Tier vs Spine-Leaf 비교

항목3-TierSpine-Leaf
계층 수32
최적화 대상North-SouthEast-West
확장성수직 확장수평 확장
홉 수가변 (1~4홉)고정 (2홉 이내)
대역폭 활용STP로 제한ECMP로 전체 활용
오버서브스크립션높음낮음/없음
지연가변예측 가능
비용낮음높음 (초기)

트래픽 비교

flowchart TB
    subgraph ThreeTier["3-Tier (East-West 비효율)"]
        direction LR
        T_SA["Server A"] --> T_Acc1["Access"] --> T_Agg["Aggregation"] --> T_Acc2["Access"] --> T_SB["Server B"]
    end
    
    subgraph SpineLeaf["Spine-Leaf (East-West 최적화)"]
        direction LR
        S_SA["Server A"] --> S_L1["Leaf 1"] --> S_Spine["Spine (ECMP)"] --> S_L2["Leaf 2"] --> S_SB["Server B"]
    end

⚖️ ECMP (Equal-Cost Multi-Path)

개념

동일 비용의 여러 경로로 트래픽 분산함.

flowchart LR
    L1["Leaf 1"]
    S1["Spine 1"]
    S2["Spine 2"]
    S3["Spine 3"]
    L2["Leaf 2"]
    
    L1 --> S1 --> L2
    L1 --> S2 --> L2
    L1 --> S3 --> L2

→ 3개 경로 모두 활성, 트래픽 분산

STP vs ECMP

항목STPECMP
루프 방지링크 차단라우팅으로 해결
활성 경로1개모두
대역폭낭비전체 활용
레이어L2L3

📊 Oversubscription

개념

업링크 대역폭 대비 다운링크 총합의 비율.

예: Access 스위치
- 서버 포트: 1G x 48 = 48Gbps
- 업링크: 10G x 2 = 20Gbps

Oversubscription = 48:20 = 2.4:1

비교

구조일반적인 비율
3-Tier4:1 ~ 20:1
Spine-Leaf1:1 ~ 3:1

1:1 = Non-blocking (전체 대역폭 보장)

🌐 현대 데이터센터 요구사항

East-West 트래픽 증가 원인

기술특징
마이크로서비스서비스 간 API 호출 폭증
분산 스토리지노드 간 복제 (Ceph, HDFS)
빅데이터클러스터 내 데이터 이동
가상화/컨테이너VM/컨테이너 마이그레이션
AI/MLGPU 클러스터 간 통신

Spine-Leaf 적용 환경

환경적합도
클라우드 데이터센터◎
대규모 가상화◎
빅데이터/AI 클러스터◎
소규모 기업△
전통적 웹서비스○

🏗️ Spine-Leaf 설계 고려사항

1. Spine/Leaf 수 결정

Leaf 스위치: 서버 수 / Leaf당 포트 수
Spine 스위치: 원하는 대역폭 / 오버서브스크립션

예:
- 서버 1000대, Leaf당 48포트 → Leaf 21대
- Leaf에 Spine 연결용 4포트 → Spine 최대 4대

2. 포트 밀도

Leaf 업링크Spine 수총 Leaf 수 (Spine 48포트)
2포트296
4포트4192
8포트8384

3. 대역폭 계산

Leaf당 서버 대역폭: 25G x 48 = 1.2Tbps
Leaf 업링크: 100G x 4 = 400Gbps

Oversubscription = 1.2T / 400G = 3:1

🔌 관련 기술

Underlay vs Overlay

flowchart TB
    subgraph Stack["네트워크 스택"]
        Overlay["Overlay Network (VXLAN, NVGRE, Geneve)"]
        Underlay["Underlay Network (Spine-Leaf 등)"]
        
        Overlay --> Underlay
    end
계층역할
Underlay물리적 연결, IP 라우팅
Overlay가상 네트워크, 테넌트 분리

VXLAN

L2 네트워크를 L3 위에 터널링함.

flowchart LR
    SA["Server A (VXLAN 100)"]
    VTEP1["VTEP Encapsulate"]
    IP["IP Network"]
    VTEP2["VTEP Decapsulate"]
    SB["Server B (VXLAN 100)"]
    
    SA --> VTEP1 --> IP --> VTEP2 --> SB

BGP in Datacenter

Spine-Leaf에서 라우팅 프로토콜로 BGP 사용이 증가하는 추세임.

기존현대 DC
OSPFBGP (eBGP)

이유:

  • 확장성
  • 정책 제어
  • ECMP 지원
  • 멀티벤더 호환

📋 요약

핵심 비교

항목3-TierSpine-Leaf
구조계층적평면적
최적화North-SouthEast-West
확장수직수평
홉 수가변고정 (2홉)
기술STPECMP, BGP

선택 가이드

환경권장
소규모, 전통적3-Tier
클라우드, 가상화Spine-Leaf
빅데이터, AISpine-Leaf
마이크로서비스Spine-Leaf

🔗 관련 문서

🔗 참고 자료

그래프 뷰

백링크