AI 토큰 하나가 데이터센터를 통과하는 여정

원문: How an AI Token Travels Through a Data Center — Chris Zeoli, 2026-07-02

프롬프트 하나를 게이트웨이부터 스케줄러, KV 캐시, GPU, 네트워크까지 따라가며 AI 추론을 움직이는 모든 구성 요소를 살펴봅니다.

여러분이 지금까지 써 본 모든 AI 제품은 동작 원리만 놓고 보면 전부 같은 것입니다. 바로 토큰 생성기입니다. 브랜드를 걷어내고 나면 챗봇, 코딩 에이전트, 검색 요약, 이미지 캡션은 모두 동일한 연산입니다. 학습된 모델을 실행해 다음 토큰을 예측하고, 또 다음, 또 그다음 토큰을 예측하는 일이죠. 이 연산이 **추론(inference)**인데, 2026년 들어 추론은 학습에 딸린 각주 신세를 벗어나 판 그 자체가 되었습니다. 2026년 5월 구글은 자사 서비스 전반에서 매달 3,200조(3.2 quadrillion) 토큰을 처리하고 있다고 밝혔습니다. 연간으로 환산하면 약 3.8경 토큰으로, 1년 전의 월 480조에서 7배 늘어난 수치이고, 그 480조도 2024년 초의 9.7조에서 불어난 것입니다. 이 가운데 학습은 하나도 없습니다. 전부 답을 내놓는 데 드는 비용입니다.

그런데도 추론은 여전히 블랙박스 취급을 받습니다. 프롬프트가 들어가고 답이 나오며, 그 사이 어딘가에서 GPU가 돌아간다는 정도로만요. 이 글은 그 상자를 엽니다. 프롬프트 딱 하나를 골라 데이터센터 내부의 물리적·논리적 정거장 열다섯 곳을 말 그대로 따라가면서, 각 정거장이 정확히 무슨 일을 하는지 설명합니다. 다 읽고 나면 "AI 인프라"가 더는 추상적인 말이 아니라, 지연 시간 예산을 세우고 토큰당 비용을 계산하고 투자 판단까지 내릴 수 있는 대상이 될 것입니다.

이 왕복 한 번의 뒤에는 컴퓨팅 역사상 최대 규모의 자본 재배치가 걸려 있습니다. 추론은 2023년 전체 AI 컴퓨팅의 약 3분의 1, 2025년 절반을 거쳐 2026년에는 대략 3분의 2를 넘어섰습니다. 4대 하이퍼스케일러는 2026년 설비투자(capex)를 약 7,250억 달러로 제시했는데, 전년 대비 77% 늘어난 규모이며 그중 60% 이상이 칩이 아니라 전력, 냉각, 건물에 들어갑니다. 추론 전용 반도체 시장만 해도 2026년에 500억 달러를 넘어설 전망입니다. 이 경제 전체를 하나로 묶는 단위가 바로 토큰인데, 토큰 가격은 물량이 연 7배씩 늘어나는 와중에도 연 200배 꼴로 떨어지고 있습니다. 가격은 떨어지고 물량은 폭증하는 이 가위 곡선이 이야기의 전부입니다. 수요가 비용 붕괴를 앞지르는 상황, 그것이 바로 하나의 재료가 하나의 경제로 자라나는 조건입니다.

논지 다섯 가지

추론은 이제 AI 컴퓨팅의 약 3분의 2, 그리고 **모델 생애 비용의 80~90%**를 차지합니다. 경제적 산출의 단위는 모델이 아니라 토큰입니다.
두 단계, 두 병목: 프리필(prefill)은 연산 병목이라 첫 토큰까지의 시간(TTFT)을 좌우하고, 디코드(decode)는 메모리 대역폭 병목이라 속도와 비용을 좌우합니다. 거의 모든 최적화가 이 둘 중 하나를 겨냥합니다.
단위 비용은 연 200배 떨어지고 물량은 연 7배 늘고 있습니다. 디플레이션이 아니라 제번스의 역설입니다. "거대한 시장"과 "고마진 시장"은 서로 다른 주장입니다.
오래가는 가치는 물리적 병목에 있습니다. 메모리 대역폭, 스케일업 인터커넥트, 광통신, 전력이 그것입니다. 추론 소프트웨어 계층은 실체 있는 사업이지만 경쟁이 치열합니다.
추론을 사서 쓴다는 것은 여러 기준에 가중치를 두고 저울질하는 일입니다. 지연 시간(TTFT + 속도 + p99), 실질 혼합 비용, 신뢰성(기능적 가용성 공백 포함), 보안, 배포 방식, 모델 커버리지, 이식성을 자신의 워크로드를 기준으로 채점해야 합니다.

이 경제를 돌리는 기계

이 배관 구조를 들여다봐야 하는 이유는 결국 경제성입니다. 모델 학습은 자본 이벤트입니다. 한 번 돈을 태워 고정자산을 만드는 일이죠. 반면 추론은 매출원가입니다. 쿼리마다, 영원히 반복해서 발생하고 사용량에 비례해 늘어납니다. 업계 경험칙으로는 배포된 모델의 생애 컴퓨팅 비용 중 결국 **80~90%**를 추론이 차지합니다. 그러니 그림 2의 변화, 즉 추론이 2023년 컴퓨팅의 3분의 1에서 2026년 3분의 2로 넘어간 것은 유행이 아닙니다. 시스템이 정상 상태에 도달한 것입니다. 전 세계 가속기 대부분이 대부분의 시간을 학습이 아니라 서빙에 쓰는 상태 말이죠.

두 가지 힘이 이 시장을 이 10년을 대표하는 인프라 시장으로 만들고 있습니다. 첫째, 프런티어가 더 큰 모델에서 더 오래 생각하기로 옮겨갔습니다. 추론(reasoning)·에이전트 시스템은 쿼리당 토큰을 10~100배 더 씁니다. DeepSeek-R1은 답변당 토큰을 열 배 안팎으로 더 쓰면서 OpenAI o1과 맞먹는 성능을 냈고, 재시도와 도구 호출, 컨텍스트 재적재가 따라붙는 에이전트 워크플로는 한 번에 답을 내는 단발 호출보다 작업당 5~25배 비쌉니다. 둘째, 현대에 전례가 없는 가격 붕괴입니다. 일정 품질을 서빙하는 비용이 2024년 초 이후 중앙값 기준 연 200배 꼴로 떨어졌습니다. 토큰이 싸진다고 지출이 줄지는 않습니다. 가격이 떨어지는 속도보다 빠르게 새 워크로드가 열립니다. 이것이 제번스의 역설이고, 그림 3이 그 모습입니다.

그래서 이 글의 나머지는 하나의 주장을 구체화한 것입니다. 아래 나오는 모든 기법, 즉 배칭, 페이징, 양자화, 추측 디코딩, 분리 서빙, 그리고 네트워크 패브릭 자체가 전부 단 하나의 숫자, 목표 지연 시간에서의 토큰당 비용을 움직이기 위해 존재합니다. 표본 프롬프트를 따라가다 보면 1센트의 몇 분의 일과 1밀리초가 어디서 절약되고 어디서 새는지 정확히 보일 것입니다. 정거장은 열다섯 곳. 첫 번째부터 시작합니다.

1단계: 사용자 — 프롬프트가 숫자가 되다

여정은 데이터센터에 닿기 전에 시작됩니다. 엔터를 누르면 클라이언트가 HTTPS로 텍스트를 보내지만, 모델은 텍스트를 보지 못합니다. 모델이 보는 건 정수입니다. 토크나이저(바이트 수준 BPE 인코더)가 문자열을 서브워드 토큰으로 잘게 자르고, 각 토큰은 약 10만~20만 개 항목의 어휘 사전에서 뽑은 ID에 대응됩니다. 우리의 12,000토큰짜리 RFP와 질문은 12,022개의 정수 ID가 일렬로 늘어선 시퀀스가 됩니다. 토큰화는 항상 같은 결과를 내고, CPU에서 처리되며, 사실상 공짜입니다. 하지만 청구서를 결정하는 것도 토큰화입니다. 요금은 들어가는 토큰과 나오는 토큰 단위로 매겨지고, 모델의 컨텍스트 윈도(2026년 프런티어 모델 기준 20만~100만 토큰)는 그 RFP가 애초에 얼마나 들어갈 수 있는지를 가르는 상한선입니다.

2단계: API 게이트웨이 — 정문

여전히 정수 ID를 담은 HTTPS 본문일 뿐인 이 요청은 데이터센터의 정문인 API 게이트웨이에 도착합니다. 게이트웨이는 TLS를 종단하고, 요청을 스키마에 맞춰 파싱·검증하고, API 버전 규칙을 적용하고, 대략적인 속도 제한을 걸고, 트레이스 ID를 붙이고, 첫 미터링 이벤트를 내보냅니다. 게이트웨이는 일부러 단순하게, 그리고 지독하게 빠르게 만들어져 있습니다. 모델 로직은 전혀 없이 초당 수백만 요청 규모의 입장 관리와 장부 정리만 하며, 보통 웹 애플리케이션 방화벽을 앞세운 Envoy나 NGINX급 프록시로 구성됩니다. 지연 시간 예산은 1밀리초 미만. 형식이 잘못됐거나 할당량을 넘겼거나 악의적인 5%의 트래픽을, 비싼 자원에 손대기 전에 걸러내는 것이 게이트웨이의 일입니다.

3단계: 인증 — 신원, 등급, 그리고 계량기

GPU에 손끝 하나 대기 전에, 요청의 주인부터 가려야 합니다. 인증은 API 키나 OAuth 토큰을 조직으로 해석하고, 그 조직의 속도 제한 등급과 지출 한도를 확인하고, 과금을 결정합니다. 어떤 토큰당 단가가 적용될지, 호출자가 캐시된 입력 할인(7번 정거장에서 만날 50~90% 할인)이나 우선 처리 레인, 더 싼 배치 요금 대상인지가 여기서 정해집니다. 인증은 보안 경계이기도 합니다. 조직 단위 데이터 격리와 남용 방어가 여기서 이뤄집니다. 이 정거장을 지나면서 요청은 익명의 바이트 덩어리에서 계량되고, 가격이 매겨지고, 격리된 작업 단위로 바뀝니다.

4단계: 로드 밸런서 — 요청을 배치하다

이제 작업을 하드웨어에 얹어야 합니다. 전통적인 로드 밸런서는 헬스 체크와 실시간 부하 신호를 근거로 동일한 모델 레플리카 여러 개에 요청을 흩뿌립니다. 그런데 LLM 서빙에서 단순 라운드로빈은 대놓고 낭비입니다. 같은 시스템 프롬프트나 같은 RFP 붙여넣기처럼 긴 접두사를 공유하는 두 요청은 가급적 같은 레플리카에 떨어져야 비싼 접두사 연산을 캐시에서 재사용할 수 있기 때문입니다. 그래서 현대 AI 로드 밸런싱은 **캐시 인지형(cache-aware)**으로 바뀌고 있고, 바로 그래서 다음 정거장의 추론 라우터와 경계가 흐려집니다. 로드 밸런서는 역압(backpressure)도 담당합니다. 장비 전체가 포화 상태일 때 여러분의 요청을 대기열에 세울지 429를 돌려줄지 결정하는 것이 이 구성 요소입니다.

5단계: 추론 라우터 — 모델, 실리콘, 커널 선택

라우터는 추론이 비로소 흥미로워지는 지점이자, 총마진의 상당 부분이 갈리는 지점입니다. 라우터는 몇 밀리초 안에 세 가지 질문에 답합니다. 어떤 모델로? 프런티어급 70B, 증류된 8B, 추론 특화 변형, 아니면 추측 디코딩용 드래프트+타깃 쌍 중에서 고릅니다. 8B로 충분히 서비스 수준 목표를 맞출 수 있는 쿼리를 70B로 서빙하는 것은 마진을 그대로 태워버리는 일입니다. 어떤 실리콘으로? 이것이 하드웨어 선택인데, 단계에 따라 달라집니다. 연산 병목인 프리필은 순수 FLOPs가 필요하고 메모리 병목인 디코드는 HBM 대역폭이 필요해서, 요청 하나 안에서도 "맞는" GPU가 달라집니다. 어떤 레플리카로? 캐시 인지 라우팅은 이 접두사의 KV 캐시를 이미 들고 있는 인스턴스로 요청을 보내, 12,000토큰짜리 프리필을 거의 공짜인 캐시 히트로 바꿔놓습니다.

이 정거장에는 컴파일러/오토튜너 계층도 자리 잡고 있습니다. 주어진 모델, 텐서 형상, 칩 조합에 딱 맞는 GPU 커널을 미리 컴파일·튜닝해 두고 런타임에 가장 싼 실행 계획을 고르는 시스템입니다. 이건 탁상공론이 아니라 엄연한 사업입니다. Together AI, Fireworks, Baseten, Modular는 상당 부분 이 계층 위에 세워진 회사들로, "어느 칩에서 어떤 정밀도로 어떤 커널을 돌릴 것인가"를 제품으로 만든 뒤 자체 추론 인프라로 수익화했습니다. 이 사업 모델과 그 기업가치는 여정의 끝에서 다시 다룹니다.

6단계: 스케줄러 — 이 모든 걸 먹여 살리는 배칭 엔진

GPU 경제를 성립시키는 구성 요소를 딱 하나만 꼽으라면 스케줄러입니다. 디코드 스텝 하나만 돌리면 GPU는 처참하게 놀게 됩니다. 배치 크기 1에서 H100의 스트리밍 멀티프로세서 사용률은 대략 **30~40%**에 그치는데, 연산이 부족해서가 아니라 메모리 읽기가 따라오지 못하기 때문입니다. 스케줄러의 답은 연속(이터레이션 단위) 배칭입니다. 고정 배치 대신 여러 시퀀스를 겹쳐 돌리면서 매 순전파마다 막 도착한 요청을 받아들이고 끝난 요청을 내보내, GPU를 패스마다 포화 상태로 유지합니다. 이 한 가지 기법이 vLLM의 핵심이고, vLLM은 같은 H100에서 이전 서빙 시스템 대비 2~4배의 처리량, 단순 PyTorch 루프 대비 3~5배의 트래픽을 뽑아냅니다.

7단계: KV 캐시 — 생성을 가능하게 하는 메모리

이제 요청은 GPU 위에 올라왔고, 추론에서 가장 중요한 자료구조 하나와 마주칩니다. 모든 어텐션 레이어 안에서 토큰마다 Key 벡터와 Value 벡터가 만들어집니다. N+1번째 토큰을 생성하려면 모델은 앞선 모든 토큰의 K와 V를 참조해야 하는데, 이를 매 스텝 다시 계산하면 O(n²) 비용이 들어 12,000토큰 컨텍스트에서는 감당이 안 됩니다. 그래서 캐시에 저장합니다. 이것이 KV 캐시입니다. 프리필이 12,022개 위치 전체의 K/V를 한 번에 계산해 저장해 두면, 이후 디코드 스텝마다 토큰 하나의 K/V를 덧붙이고 나머지는 읽기만 합니다. KV 캐시는 서빙 중 GPU 메모리를 가장 많이, 가장 역동적으로 잡아먹는 존재이고, 이를 잘 관리하는 것이 현대 추론 엔진이 하는 일의 대부분입니다.

어려운 대목은 단편화입니다. 시퀀스 길이는 예측할 수 없이 늘어나는데, 고전적인 연속 할당 방식은 메모리의 **60~80%**를 놀려버립니다. vLLM의 PagedAttention은 운영체제의 가상 메모리 기법을 빌려 옵니다. KV 캐시를 고정 크기 블록("페이지")으로 쪼개 필요할 때마다 할당하고 페이지 테이블로 매핑하면, 물리 블록이 연속일 필요가 없어지고 끝난 시퀀스는 즉시 페이지를 반납합니다. 이것이 vLLM 2~4배 처리량의 비결이자, 여러 사용자의 시퀀스가 GPU 하나를 안전하게 나눠 쓸 수 있게 해 주는 장치입니다.

이 공유는 단순한 메모리 최적화에 그치지 않고 그대로 가격표가 됩니다. 많은 요청이 같은 접두사(시스템 프롬프트, 긴 퓨샷 예시, 우리가 붙여넣은 RFP)를 달고 있다면, 그 KV 캐시는 한 번만 계산해 여러 호출에 재사용할 수 있습니다. 프로바이더들은 이제 이것을 프롬프트/프리픽스 캐싱이라는 이름으로 직접 판매합니다. Anthropic은 캐시 읽기를 입력 단가의 0.1배(100만 토큰당 3.00달러 대신 0.30달러)로 매기고, OpenAI GPT-5.x 라인은 캐시된 입력을 5.00달러 대신 0.50달러로 책정합니다. 둘 다 90% 할인이고, 긴 프롬프트에서는 지연 시간도 약 85% 줄어듭니다. 우리 표본의 경우 RFP를 캐싱해 두면 12,022토큰짜리 프리필이 후속 질문마다 거의 공짜인 캐시 히트로 바뀝니다.

8단계: GPU 메모리 — 몇 명을 서빙할 수 있는지를 가르는 진짜 제약

서빙 GPU의 온패키지 메모리는 세 가지를 동시에 담습니다. 모델 가중치(고정), KV 캐시(동시 시퀀스 수와 길이에 따라 증가), 그리고 활성값과 작업 공간(일시적)입니다. 가중치가 기본으로 깔리고, 남는 공간이 KV 예산인데, 동시성의 상한을 정하는 것은 대개 연산력이 아니라 이 예산입니다. 70B 모델은 FP16으로 약 140GB라 적재만 해도 80GB H100 두 장이 필요하지만, FP8이면 약 70GB로 GPU 한 장에 들어가고 KV 캐시 자리도 남습니다. 양자화가 본전을 뽑는 첫 지점이 바로 여기입니다. 가중치에서 깎아낸 1기가바이트가 그대로 KV 여유 공간이 되고, KV 여유 공간이 곧 동시에 서빙할 수 있는 사용자 수입니다.

9단계: HBM — 대역폭 장벽과 루프라인

여기가 이 기계 전체에서 가장 직관에 어긋나는 심장부입니다. 프리필과 디코드는 완전히 다른 자원을 쥐어짭니다. 프리필은 입력 토큰 12,022개를 한꺼번에 병렬로 처리합니다. 텐서 코어를 포화시키는 거대한 행렬곱 한 방이죠. 프리필은 연산 병목이고 TTFT를 결정합니다. 디코드는 정반대입니다. 다음 토큰 딱 하나를 만들 때마다 GPU는 모델의 전체 가중치 텐서(그리고 점점 커지는 KV 캐시)를 HBM에서 통째로 읽어와야 합니다. 토큰마다 한 번씩요. 이 읽기 시간을 정하는 것은 연산 능력이 아니라 메모리 대역폭입니다. 배치 크기 1에서 디코드의 산술 강도는 바이트당 약 1 FLOP으로, 루프라인 능선점인 약 410~590 FLOP/바이트에 한참 못 미칩니다. 그래서 텐서 코어는 거의 내내 놀면서 메모리만 기다립니다.

그래서 업계는 정밀도 사다리를 내려가는 중입니다. FP16 → FP8 → FP4 순서로요. 가중치당 비트가 줄면 토큰당 읽어야 할 바이트가 줄고, 이는 메모리 병목인 디코드의 천장을 곧바로 끌어올립니다. Blackwell 5세대 텐서 코어에 네이티브로 들어간 4비트 부동소수점 형식인 NVIDIA NVFP4는 FP8 대비 약 2~3배의 연산 처리량과 약 1.8배의 메모리 절감을 제공하면서도 기준 정확도와의 차이를 약 1% 이내로 지켜, Hopper 대비 최대 5배의 종단 간 추론 가속에 기여합니다. 비트 하나를 덜어낼 때마다 대역폭이 돌아오고 토큰이 싸집니다. 이 건물 안에서 매출원가를 움직이는 가장 직접적인 지렛대입니다.

프리필은 연산 병목이라 첫 토큰까지의 시간을 정하고, 디코드는 메모리 대역폭 병목이라 속도와 비용을 정합니다. 추론 기법 거의 전부가 이 디코드 메모리 장벽을 공략하는 것입니다. 배치는 키우고, 양자화로 줄이고, 앞질러 추측하는 식으로요. 참고: Why KV Cache and Memory Drive AI Economics

10단계: CUDA 커널 — 토큰이 산술이 되는 곳

실행 계획은 이제 실제 연산으로 넘어가고, GPU에서 연산은 커널로 실행됩니다. 수천 개 코어에 걸쳐 실행되는 작은 프로그램들이죠. 트랜스포머를 아무 최적화 없이 돌리면 수백 개의 커널을 따로따로 띄우게 되는데, 각 커널이 HBM에서 입력을 읽고 계산하고 결과를 도로 씁니다. 대역폭 병목 워크로드에서 이 왕복은 치명적입니다. 그래서 이 분야 기술의 정수가 커널 퓨전입니다. 여러 연산을 커널 하나로 합쳐 중간 데이터를 빠른 온칩 SRAM에 붙들어 두고 느린 HBM은 최소한만 건드리는 것이죠. 대표 사례가 FlashAttention입니다. 온라인 소프트맥스를 써서 어텐션을 타일 단위로 계산해, HBM 읽기·쓰기를 시퀀스 길이의 제곱에서 선형으로 줄이고 2~4배 가속을 얻습니다. FlashAttention-3는 Hopper의 비동기 엔진과 FP8을 활용해 H100에서 **840 TFLOPS, 피크의 약 85%**에 도달합니다.

커널 수준 기법 하나는 따로 조명할 가치가 있습니다. 단일 스트림 서빙에서 투자 대비 효과가 가장 큰 최적화, **추측 디코딩(speculative decoding)**입니다. 디코드는 메모리 병목이라 GPU가 어차피 스텝마다 가중치 전체를 읽습니다. 그렇다면 토큰 하나를 생성하는 것과 거의 같은 비용으로 후보 토큰 여러 개를 검증할 수 있습니다. 작고 싼 드래프트 모델이 다음 K개 토큰을 제안하면, 큰 타깃 모델이 병렬 패스 한 번으로 전부 검사한 뒤, 맞은 부분을 앞에서부터 최대한 길게 채택합니다. 출력은 일반 디코딩과 수학적으로 동일하면서 2~4배 빠릅니다. EAGLE-3 같은 최신 기법은 드래프트 채택률을 75% 이상까지 끌어올립니다.

11단계: NVLink — GPU 한 장으로 모자랄 때

우리의 70B 표본은 GPU 한 장에 들어가지만 프런티어는 그렇지 않습니다. 조 단위 파라미터 모델과 전문가 혼합(MoE) 모델은 여러 GPU에 샤딩되고, 이는 GPU들이 서로 대화해야 한다는 뜻입니다. 레이어마다, 토큰마다요. 사람들이 놓치는 지점이 바로 이것입니다. 네트워킹은 디코드 루프의 한복판에 앉아 있습니다. 옆에 비켜서 있는 게 아니라요. 첫 번째 패브릭은 스케일업, 즉 NVLink입니다. 랙 안의 여러 GPU를 하나의 논리적 가속기로 융합하는 초고속 인터커넥트죠. NVLink 5는 GPU당 1.8TB/s를 옮기는데, PCIe Gen5 링크의 약 14배입니다. GB200 NVL72는 Blackwell GPU 72개와 Grace CPU 36개를 단일 NVLink 도메인으로 묶어 집계 대역폭 130TB/s와 13.4TB의 통합 메모리를 제공합니다. 랙 하나가 기계 하나처럼 움직이면서, 약 120kW를 쓰는 대가로 조 단위 파라미터 모델에서 H100 클러스터 대비 최대 30배의 추론 처리량을 뽑아냅니다.

왜 이렇게 극단적인 대역폭이 필요할까요? 병렬화가 트래픽을 만들기 때문입니다. 텐서 병렬화는 각 레이어의 행렬곱을 GPU들에 쪼개는데, 행렬곱이 끝날 때마다 부분 결과를 올리듀스(all-reduce) 집합 연산으로 합쳐야 합니다. 토큰 하나에 여러 번씩요. 설상가상으로 전문가 혼합 모델은 각 토큰을 여러 GPU에 흩어져 있는 소수의 전문가에게 라우팅하므로 올투올(all-to-all) 통신이 발생하고, 이것이 추론의 지배적 병목이 되는 경우가 잦습니다. DeepSeek의 프로덕션 스택은 노드당 400Gbps NIC 8장과 자체 라이브러리(DeepEP)를 써서 이 교환을 연산과 겹쳐 돌려 GPU가 멈추는 일이 없게 합니다.

12단계: 스위치 — 크로스바와 혼잡 문제

패브릭에는 스위치가 필요합니다. 스케일업 도메인 안에서는 NVSwitch가 크로스바 역할을 합니다. NVLink 포트 144개와 14.4TB/s의 논블로킹 스위칭으로 72개 GPU 전부가 동시에 최고 속도로 대화할 수 있습니다. 랙 바깥의 스케일아웃 네트워크는 자체 스위치를 씁니다. NVIDIA의 Quantum-X800(InfiniBand)과 Spectrum-X800(이더넷), 또는 102.4Tbps(1.6T 포트 64개)의 Broadcom Tomahawk 6입니다. AI 스위치가 클라우드 스위치와 다른 점은 두 가지입니다. 첫째, 레일 최적화 토폴로지. 모든 서버의 n번째 GPU가 같은 "레일" 스위치에 물리도록 배선해 집합 연산의 홉 수를 최소화합니다. 둘째, 인네트워크 컴퓨팅과 혼잡 제어. 스위치가 패브릭 안에서 리덕션을 직접 수행할 수 있고(SHARP), 수천 개 GPU가 같은 순간에 스텝을 끝내며 쏟아내는 동기화된 "인캐스트"를 받아내야 합니다. 링크 하나만 막혀도 집합 연산 전체가 멈추는 것이 꼬리 지연(tail-latency) 문제라서, 적응형 라우팅은 선택이 아니라 생존 조건입니다.

13단계: NIC — GPU가 클러스터로 올라타는 진입로

GPU를 떠나 다른 랙으로 향하는 패킷은 **네트워크 인터페이스 카드(NIC)**를 지나갑니다. 2026년에는 거의 예외 없이 SmartNIC 또는 DPU(NVIDIA BlueField와 그 경쟁 제품들)입니다. 핵심 역할은 RoCE(RDMA over Converged Ethernet)나 InfiniBand verbs입니다. 원격 GPU가 양쪽 CPU를 모두 건너뛰고 이 GPU의 메모리를 직접 읽게 해 주는 것으로, 현재 400Gb/s이고 800Gb/s가 표준이 되어 가고 있습니다. 그런데 DPU는 NIC에 올라앉은, 그 자체로 프로그래밍 가능한 컴퓨터이기도 합니다. 혼잡 제어, 암호화, 스토리지 가상화, 멀티테넌트 격리를 호스트 CPU 대신 떠맡습니다. 레일 최적화 클러스터에서는 보통 GPU마다 전용 NIC이 붙습니다. DeepSeek은 GPU 8장에 400Gb/s NIC 8장을 짝지어, 어떤 가속기도 진입로를 나눠 쓰지 않게 합니다. 바이트 입장에서 "네트워크"가 물리적으로 시작되는 곳이 여기이며, 우리의 데이터 중력(data gravity) 테마가 문자 그대로 실현되는 경계이기도 합니다.

14단계: 이더넷 — 스케일아웃 패브릭, 그리고 그 밑의 광통신

역사적으로 AI 클러스터는 약 1~2µs의 지연 시간과 무손실 패브릭을 앞세운 InfiniBand 위에서 돌아갔고, RoCEv2 이더넷은 약 5~10µs로 학습용으로는 2군 취급을 받았습니다. 그 서열이 뒤집히고 있습니다. **울트라 이더넷 컨소시엄(UEC)**이 2025년 6월 UEC 1.0을 내놓았습니다. AI를 위해 이더넷 스택을 560쪽 넘는 분량으로 다시 쓴 규격으로, 지연 시간과 신뢰성 격차를 메웠습니다. Dell'Oro는 2027년이면 AI 백엔드 네트워크에서 이더넷이 InfiniBand를 추월할 것으로 전망합니다. 800G는 이미 기본 포트 속도가 됐고 Broadcom Tomahawk 6는 102.4Tbps까지 밀어붙이고 있습니다. 비용에 민감하고 멀티테넌트이며 엔터프라이즈 수요와 맞닿아 있는 추론에서는 특히, 이더넷의 경제성과 개방 생태계가 결정적입니다.

패브릭 아래에는 가장 덜 이야기되는 비용 항목이 숨어 있습니다. 바로 **광통신(optics)**입니다. 광 트랜시버는 네트워킹 비용의 약 60%, 네트워킹 전력의 **45%**를 차지합니다. 네트워킹이 클러스터 전체 비용의 약 15~18%이니, 광통신만으로 **전체 청구서의 10%**에 육박하는 셈입니다. 스위치 한 대에 꽂힌 800G 플러거블이 태우는 전력은 500W를 넘을 수 있는데, 스위칭 ASIC 자체보다 많은 양입니다. AI 광 트랜시버 시장은 **2025년 약 165억 달러에서 2026년 약 260억 달러(+57% YoY)**로 내달리고 있습니다. 구조적 해법은 **코패키지드 옵틱스(CPO)**입니다. 광 부품을 스위치 패키지 위로 옮겨 1.6T 링크의 소비 전력을 약 30W에서 약 9W로 줄이는 것으로, NVIDIA는 2026년 하반기 출하 예정인 자사 포토닉스 스위치가 전력 효율 5배, 복원력 10배라고 주장합니다.

GPU 한 장에 담기지 않는 모델이라면 네트워크는 디코드 루프 안에 있습니다. 레이어마다, 토큰마다 돌아갑니다. 스케일업(NVLink)과 스케일아웃(이더넷) 사이의 약 20~40배 대역폭 절벽을 관리하는 것이 승부의 전부입니다.

15단계: 응답 — 텍스트로 되돌리고, 스트리밍하고, 청구서를 정산하다

마지막 토큰이 생성되면 이제 여정은 거꾸로 흐릅니다. **디토큰화(detokenization)**가 정수 ID를 다시 텍스트로 되돌리고, 답변은 NIC, 스위치, 로드 밸런서, 게이트웨이를 거쳐 사용자에게 토큰 단위로 스트리밍됩니다. 보통 서버 전송 이벤트(SSE)를 쓰기 때문에 토큰이 만들어지는 대로 화면에 나타납니다. 첫 토큰까지의 시간이 체감 속도를 지배하는 이유가 이것입니다. 전체 답변이 끝나기까지 몇 초가 걸려도 사용자는 약 0.3초부터 읽기 시작하니까요. 마지막 순서는 계량기가 청구서를 마감하는 일입니다. 입력 토큰(캐시 할인이 적용됐을 수 있는 쪽)과 출력 토큰(비싼 쪽)이, 3번 정거장에서 인증이 배정한 등급의 단가로 정산됩니다. 열다섯 정거장, 답변 하나.

마지막 단계: 종합 — 추론 운영체제

열다섯 정거장을 다시 걸어 보면 패턴이 보입니다. 어려운 문제들, 즉 배칭, KV 페이징, 프리필 대 디코드, 하드웨어 선택, 집합 통신은 사실 전부 하나의 문제입니다. 비싼 실리콘을 놀리지 않도록, 메모리·네트워크 계층 구조 위에 이질적인 작업을 스케줄링하는 문제죠. 2026년의 답은 **분리 서빙(disaggregated serving)**입니다. 연산 병목인 프리필과 메모리 병목인 디코드를 별도의 GPU 풀로 갈라 각각 독립적으로 스케일링·튜닝하고, 둘 사이에 KV 캐시를 스트리밍하는 방식입니다. 지금은 NVIDIA Dynamo, vLLM, SGLang, llm-d, Mooncake 전반에서 표준이 되었습니다.

스택의 사업: 클라우드가 된 컴파일러들

이 지도에서 가장 흥미로운 회사들은 5번과 10번 정거장, 즉 컴파일러·커널·오토튜너 계층에 앉아 있고, 모두 같은 사실을 발견했습니다. 더 좋은 커널로 돈을 버는 길은 라이선스를 파는 것이 아니라 직접 돌리는 것이라는 사실입니다. 추론 인프라를 직접 소유하고 토큰을 팔면 효율 격차가 그대로 총마진으로 남습니다. 논리는 빈틈이 없습니다. 커널, 배칭, 양자화, 추측 디코딩에서 2배를 따낼 때마다 GPU당 토큰이 2배가 되는데, GPU를 직접 운영하는 입장이라면 그 2배는 발표용 벤치마크가 아니라 손에 쥐는 마진이 됩니다. 모든 모델 × 형상 × 칩 조합에 가장 싼 커널을 컴파일해 주는 오토튜너는 사실상 GPU 함대에 붙여 놓은 돈 찍는 기계나 다름없습니다.

성장률이 그 증거입니다. Baseten의 연환산 매출은 2025년 12월 약 2억 달러에서 2026년 3월 약 6억 달러로 뛰었습니다. 전년 대비 약 **1,900%**입니다. 그러면서 다섯 달 전 50억 달러였던 기업가치를 110억~130억 달러로 끌어올린 15억 달러 라운드를 마감했습니다. 그리고 Modular가 약 39억 달러에 퀄컴에 매각된 것은 무엇보다 분명한 신호입니다. 칩 제조사가 하드웨어 중립 컴파일러를 사들여, 해자가 가장 얇은 지점에서 NVIDIA를 정확히 공격하는 그림이니까요.

추론 프로바이더 고르기: 진짜 판단 기준

추론을 직접 구축하지 않고 사서 쓴다면, 이 열다섯 정거장짜리 기계는 하나의 구매 결정으로 압축됩니다. 그리고 가장 흔한 실수가 100만 토큰당 표시 가격에 맞춰 최적화하는 것입니다. 추상적으로 "최고의 프로바이더"란 없습니다. 특정 워크로드 형태에 최적인 프로바이더가 있을 뿐입니다. 실시간 음성 에이전트, 야간 배치 요약기, 다단계 자율 에이전트, HIPAA 규제를 받는 엔터프라이즈 앱은 같은 기준에 완전히 다른 가중치를 매깁니다. 아래 프레임워크는 실제 운영 환경에서도 통하는 기준입니다.

누구나 꼽는 세 가지 — 제대로 재는 법

지연 시간은 하나가 아니라 두 개의 숫자입니다. 첫 토큰까지의 시간(TTFT, 프리필 지연)은 답변이 얼마나 빨리 시작되는지를, 토큰 간 지연(출력 속도)은 얼마나 빨리 끝나는지를 좌우합니다. 한쪽에서는 앞서고 다른 쪽에서는 뒤지는 프로바이더도 있으며, 사용자 경험에 중요한 숫자는 중앙값이 아니라 p99 꼬리입니다. p50이 훌륭해도 p99가 나쁘면 눈에 보이는 멈칫거림이 생깁니다. 일반적인 GPU 추론은 첫 토큰을 약 400~600ms에 내놓습니다. 속도 특화 실리콘 클라우드는 이를 크게 줄여서, Groq와 Cerebras는 Llama-70B급 모델에서 TTFT 100~150ms 미만, 출력 속도 초당 1,600~2,100+ 토큰을 기록합니다. 일반 GPU 스택의 대략 4~6배입니다.

비용은 표시 가격이 아니라 실질 혼합 단가입니다. 정가는 100만 토큰당 입력·출력 두 숫자로 되어 있고, 출력이 입력의 4~5배쯤으로 매겨지며 대개 비용을 지배합니다. 실제 단위 비용은 입력 대 출력 비율, 캐시 적중률(프롬프트 캐싱은 입력 비용을 50~90% 줄여 줍니다), 그리고 배치 요금제(대개 절반 가격) 사용 가능 여부에 따라 달라집니다. 2026년 중반의 표시 요금은 최대 100배 수준까지 벌어져 있습니다. 비용 최적화된 오픈 모델 엔드포인트의 100만 토큰당 약 0.04~0.20달러(DeepInfra, Groq는 0.15/0.60달러)부터 프런티어 모델의 수 달러까지 걸쳐 있어서, 표시 가격이 같은 두 프로바이더라도 여러분의 트래픽에서는 3배 차이가 날 수 있습니다.

신뢰성은 가동률 퍼센트 그 이상입니다. 공식 SLA(Azure OpenAI는 토큰 생성 99.9%를 공표하고, 기업들은 갈수록 "호출의 99.99%에서 TTFT 200ms 미만" 같은 지연 시간 SLA를 요구합니다)는 필요조건이지 충분조건이 아닙니다. 실제로 제품을 망가뜨리는 장애 유형은 SLA 바깥에 있습니다. 거부율 급증, 평가 점수를 후퇴시키는 조용한 모델 버전 교체, 부하 시 할당량 스로틀링이 그것입니다. 벤더가 99.95% 가동률을 지키면서도 이 중 어느 하나로 여러분의 애플리케이션을 망칠 수 있습니다. 그래서 현실적인 답은 모델 버전을 고정하고, 용량을 협상하고, 기능적 가용성을 직접 모니터링하는 것입니다.

다들 잊는 일곱 가지

지연 시간, 비용, 신뢰성 너머에서 프로덕션 적합성을 가르는 기준이 일곱 가지 더 있습니다. 처리량과 속도 제한(분당 토큰 상한과 버스트 여유)은 에이전트의 팬아웃과 스케일을 좌우합니다. 보안과 컴플라이언스(SOC 2 Type II, HIPAA, ISO 27001, GDPR)는 규제 산업에서는 기본 요건이며 나중에 덧붙이기 어렵습니다. 데이터 레지던시와 프라이빗 배포(무보존 보장, VPC/BYOC, 온프레미스)가 엔터프라이즈 구매 심사를 통과시키는 항목인데, 대부분의 소비자용 엔드포인트는 보존 정책이 모호하고 프라이빗 경로가 없어 조용히 탈락합니다. 결정성과 버전 관리(고정 시드, 고정 체크포인트)는 평가 스위트를 조용한 드리프트로부터 지켜 줍니다. 모델 커버리지와 신선도(모델 폭, 새 오픈 웨이트의 출시 당일 지원, 파인튜닝/LoRA 호스팅)는 프런티어를 얼마나 빨리 도입할 수 있는지를 정합니다. 배포 유연성(서버리스 대 전용 대 자체 호스팅)은 비용과 통제권 사이의 균형을 정합니다. 그리고 이식성(OpenAI 호환 API와 깔끔한 멀티 프로바이더 라우팅)은 위의 모든 항목이 잘못될 때를 대비한 보험입니다.

먼저 표에서 자기 워크로드에 해당하는 열부터 고르고, 그다음에 프로바이더를 고르세요. 100만 토큰당 표시 가격은 입력 대 출력 비율, 캐시 적중률, p99 꼬리까지 커버하는 지연 시간 SLA 없이는 거의 의미가 없습니다.

대부분의 팀이 겪고 나서야 배우는 신뢰성의 함정

프로바이더의 99.95% 가동률은 실제로 여러분을 한밤중에 호출하는 장애를 커버하지 않습니다. 평가 점수를 무너뜨리는 조용한 모델 교체, 안전성 업데이트 후의 거부율 급증, 트래픽이 정점일 때 딱 맞춰 걸리는 할당량 스로틀링 같은 것들 말입니다. SLA는 최소 보장선으로만 여기고, 모델 버전을 고정하고, 기능적 가용성은 직접 모니터링하세요.

시사점: 가치는 어디에 쌓이는가

결론은 세 가지입니다. 첫째, 물리적 병목은 겹겹이 쌓입니다. HBM 대역폭이 디코드의 천장을 정하고, NVLink 스케일업 도메인은 진짜 독점 영역이며, 광통신과 전력이 가장 구하기 어려운 자원입니다. 7,250억 달러 설비투자의 60% 이상이 이미 전력과 건물에 들어가고 있으니, 최종 지표는 와트당 토큰입니다. 둘째, 네트워크는 두 갈래로 갈라지고 있습니다. 스케일업은 폐쇄적이고 방어 가능한 채로 남는 반면 스케일아웃은 개방(이더넷/UEC)되며 범용화됩니다. 그러니 우위는 범용 스위칭이 아니라 스케일업 도메인, 광통신/CPO, 혼잡 제어 IP에 있습니다. 셋째, 추론 소프트웨어 계층은 실체가 있지만 각축장입니다. 마진은 효율 격차 × 가동률 × 규모로 정해지고, 가격 붕괴로 순수 성능이 당연한 것이 되기 전에 속도 우위를 유통망과 전환 비용으로 바꿔 놓은 플레이어에게만 오래갑니다.

결론적으로 이렇게 읽으면 됩니다. 2027년까지는 병목, 즉 메모리와 대역폭, 스케일업 인터커넥트, 광통신과 전력, 그리고 이미 효율을 락인으로 바꿔 놓은 추론 플랫폼에 베팅하세요. 내세울 것이 순수 속도뿐인 것에는 회의적이어야 합니다. 순수 속도야말로 컴파일러 계층과 NVIDIA의 무료 툴링이 한창 범용화하고 있는 바로 그것이니까요. 토큰 경제는 거대해질 것입니다. 구글 기준 월 9.7조에서 2년 만에 3,200조 토큰이 된 곡선은 되돌아가지 않습니다. 하지만 "거대하다"와 "고마진이다"는 서로 다른 주장이고, 그 차이가 판가름 나는 곳이 바로 이 열다섯 정거장입니다.

핵심 정리: 물리적 병목, 즉 메모리 대역폭, 스케일업 인터커넥트, 광통신, 전력, 그리고 효율을 락인으로 바꿔 놓은 플랫폼에 베팅하세요. 해자가 "더 빠르다"뿐인 제안은 의심하세요. 그것이야말로 컴파일러 계층과 NVIDIA의 무료 툴링이 범용화하는 대상입니다.

토큰 하나를 따라가면 경제 전체가 읽힙니다.

출처 및 더 읽을거리 — 2026년 6월 열람

Deloitte — More compute for AI, not less (2026년 추론이 컴퓨팅의 약 2/3)
MarketsandMarkets — AI Inference Market size & forecast ($106B→$255B)
Tom's Hardware — Big Tech AI capex reaches $725B in 2026
Introl — Hyperscaler capex & AI infrastructure
Shacknews — Google processing 3.2 quadrillion tokens/month
Crypto Briefing — Google 3.2Q tokens/month, 7× YoY
Google — Sundar Pichai, I/O 2026 keynote
Epoch AI — LLM inference price trends
TokenCost — AI Price Index (300× drop, 2023–26)
NVIDIA / SEC — Q1 FY2026 results ($39.1B DC)
Intellectia — NVIDIA record $81.6B quarter (May 2026)
Kwon et al. — PagedAttention / vLLM (arXiv)
Spheron — Continuous batching, PagedAttention, chunked prefill
RunPod — vLLM PagedAttention & continuous batching
Hao AI Lab (UCSD) — DistServe: prefill–decode disaggregation
Hao AI Lab — Disaggregated inference, 18 months later
NVIDIA — Introducing Dynamo (30× on DeepSeek-R1)
NVIDIA — Inference cluster economics & AI-factory tokens/s
Local AI Master — Speculative decoding: EAGLE, Medusa
Spheron — EAGLE-3 speculative decoding (2–4×)
NVIDIA — Introducing NVFP4 low-precision inference
Edge AI + Vision — Blackwell: impact of NVFP4
EmergentMind — Triton & CUDA kernels; FlashAttention-3
Spheron — HBM3e/HBM4 bandwidth & roofline for inference
Samanvya Tripathi — Prompt caching: 90% cost cut
PromptHub — Prompt caching across OpenAI/Anthropic/Google
NVIDIA — NVLink & NVSwitch (1.8 TB/s, 14.4 TB/s)
NVIDIA — GB200 NVL72 (72 GPUs, 130 TB/s)
Introl — NVLink & scale-up networking
Ultra Ethernet Consortium — UEC 1.0 launch
HPCwire — Ultra Ethernet has arrived
TrendForce — InfiniBand vs Ethernet scale-out
SemiAnalysis — Co-packaged optics: scaling with light
NVIDIA — Silicon photonics for agentic AI
TrendForce — AI optical transceiver market to $26B (2026)
DeepSeek — DeepEP expert-parallel comms library
Introl — Mixture-of-experts infrastructure
Introl — Inference-time scaling & reasoning models
Sacra — Fireworks AI revenue & valuation
SiliconANGLE — Fireworks $250M Series C at $4B
Startup Fortune — Baseten $1.5B round at $11–13B
Contrary Research — Baseten company profile
Sacra — Modular valuation & funding
Startup Fortune — Qualcomm to buy Modular (~$3.9B)