Citi) 씨티의 Inference Ahead - 격차를 메우다

씨티의 견해
수직적인 수요 급증, 즉 ‘vertical wall’ 현상은 이전 세대 실리콘으로도 더 확산되고 있으며, A100 임대료는 전주 대비 0.6%, 6주 전 대비 11% 상승했습니다. 단일 릴리스 내부에서도 세분화가 진행되었고, 최상위 리더보드 점수는 61에서 65로 이동했으며, 혼합 가격은 대략 두 배로 상승했습니다. 배급은 제품 기능의 일부가 되었고, 새로운 최상위 모델은 6월 22일 이후 사용 크레딧 뒤로 이동하게 되었습니다. 희소성은 해결되는 속도보다 더 빠르게 수익화되고 있습니다. 다만 새로운 비순차적 모델, 라우팅 아키텍처, 그리고 부상하는 월드 모델들은 성능, 효율성, 적용 범위의 확대를 통해 앞으로 나아갈 경로를 보여주고 있는 듯합니다.

1. 모델. DiffusionGemma는 6월 10일 공개되었으며, 디코딩 병목을 메모리 대역폭에서 컴퓨트로 이동시킴으로써 Gemma 4 대비 최대 4배 빠른 추론 성능을 달성했습니다. 구글은 Gemma 4를 개조해 DiffusionGemma를 만들었기 때문에, Gemini Flash 또는 Pro에도 유사한 개조가 가능할 것으로 보입니다. 다만 현재로서는 비순차적 생성 방식에 내재된 품질 비용이 존재합니다. 또 다른 오픈웨이트 모델인 Poolside의 Laguna는 에이전틱 코딩 발전에 기여하고 있으며, Odyssey의 Starchild-1, 즉 첫 번째 멀티모달 월드 모델과 Agora-1, 즉 멀티에이전트 월드 모델은 AI의 활용 사례가 언어 영역을 넘어 확장되는 흐름을 뒷받침하고 있습니다.

2. 전력. 한 비상장 네오클라우드 업체는 최근 40GW 이상의 파이프라인 중 4.9GW에 대해 계약을 체결했다고 발표하는 한편, 1.8GW 프로젝트에서는 참여를 종료했습니다. 이는 수요의 폭발성과 공급 확대의 어려움을 동시에 보여줍니다. 계획 대비 계약 비율이 12%에 그친다는 점은 파이프라인을 개발업체들이 발행하고, 소수의 임차인이 부지별로 행사하는 일종의 옵션 장부로 재해석하게 만듭니다.

3. 용량. 데이터센터 입지는 소매 전력요금이 kWh당 9~12센트 수준인 지역에 집중되고 있으며, 재생에너지 비중이 25%를 넘는 주들이 상대적으로 큰 용량을 유치하고 있습니다. 전력구매계약, 즉 PPA와 탄소 관련 약속은 단순한 전력요금과 함께 입지 선정에 공동으로 영향을 미치고 있을 가능성이 큽니다. 또한 H100 환산 기준 CapEx는 꾸준히 상승하고 있습니다. 부품 비용이 상승하는 가운데, 전력 비용도 점차 건설 이후의 운영비가 아니라 건설 이전의 자본비용으로 이동하고 있기 때문입니다.

4. 토큰. 현재 어떤 제공업체도 지능, 속도, 가격이라는 삼각형의 세 꼭짓점을 모두 보유하고 있지는 않습니다. 새로운 프런티어 모델은 이전 대비 비용이 2배인 상태에서 지능 점수는 4포인트 상승하며 출시되었습니다. 한편 속도는 중간 티어로 축적되고 있으며, 상위 20개 모델의 중앙값 기준 출력 속도는 6주 동안 초당 64토큰에서 105토큰으로 상승했습니다. 독점 모델과 오픈 모델 간 격차가 6포인트에서 10포인트로 확대된 것은, 프런티어 모델들이 가격 측면에서 오픈 모델과 경쟁하기보다는 구조적으로 지능이라는 꼭짓점을 방어하고 있음을 보여줍니다. 구글이 세 꼭짓점을 동시에 갖췄다고 신뢰성 있게 주장하기까지는 이제 더 가파른 과제가 남아 있지만, Gemini 3.5 Pro는 여전히 이벤트 호라이즌에 있습니다.

5. 라우팅. 이러한 세분화가 만들어내는 렌트와 비용 절감 효과는 추론을 컴파일하고 프로파일링 데이터를 보유한 계층에 귀속됩니다. 여기서 프로파일링 데이터란 어떤 모델이, 어떤 양자화 수준에서, 어떤 하드웨어 위에서, 어떤 하위 작업에 대해 수용 가능한 출력을 만들어내는지를 뜻합니다. 과제는 기업의 IP나 개인정보를 유출하지 않으면서 이러한 데이터를 확보하고 효율적인 라우팅을 달성하는 것입니다. 도입이 확대되는 가운데, 단기적으로는 Databricks와 AWS 서밋이 엔터프라이즈 라우팅의 기본 구성요소들이 등장할 수 있는 주요 무대가 될 것으로 보입니다.