서론: 학습(Training)의 시대를 넘어 인퍼런스(Inference)의 시대로

2026년 5월, 글로벌 인공지능(AI) 산업의 자본 흐름이 완전히 새로운 국면을 맞이했습니다. 수년 전까지만 해도 거대 언어 모델(LLM)을 구축하고 '학습(Training)'하는 과정에 집중되었던 막대한 투자금이, 이제는 학습된 모델을 실제 서비스 환경에서 빠르고 효율적으로 구동하는 '인퍼런스(추론, Inference) 인프라' 계층으로 빠르게 이동하고 있습니다. 올해 글로벌 AI 인프라 자본 지출(Capex)이 약 6천억 달러(약 800조 원)를 넘어설 것으로 예상되는 가운데, AI 생태계의 무게 중심이 확연히 이동하고 있음을 여러 지표가 증명하고 있습니다.

이러한 시장의 폭발적인 변화를 가장 잘 보여주는 상징적인 사건은 AI 파운데이션 모델 개발사인 앤스로픽(Anthropic)의 메가 라운드 투자 유치입니다. 앤스로픽은 최근 650억 달러의 시리즈 H 투자를 유치하며, 무려 9,650억 달러(약 1,300조 원)라는 경이로운 기업가치를 인정받았습니다. 이는 가장 강력한 경쟁사인 오픈AI(OpenAI)가 기록한 8,400억 달러의 가치를 넘어선 것으로, 민간 AI 기업 중 세계 최고 가치입니다. 특히 주목해야 할 점은 앤스로픽의 연간 환산 매출(ARR)이 이미 470억 달러를 돌파했다는 사실입니다. 전 세계 수많은 기업 고객들이 클로드(Claude) 모델을 앞다투어 채택하고 있으며, 이러한 막대한 모델 사용량은 곧 천문학적인 컴퓨팅 연산 처리 수요, 즉 '인퍼런스' 수요로 직결됩니다. 실제로 업계 분석가들은 2026년 말까지 전체 AI 컴퓨팅 수요의 약 3분의 2를 인퍼런스 작업이 차지할 것으로 전망하고 있습니다.

이처럼 폭발하는 추론 연산 수요를 감당하기 위해 벤처 캐피털(VC) 자본은 인퍼런스 생태계를 구성하는 세 가지 핵심 영역(하드웨어 클라우드, 모델 라우팅 시스템, 매니지드 인프라 플랫폼)에 집중되고 있습니다. 최근 연이어 발표된 Groq(그로크), OpenRouter(오픈라우터), 그리고 Baseten(베이스텐)의 초대형 투자 라운드는 2026년 AI 시장이 어떻게 재편되고 있는지를 보여주는 완벽한 축소판입니다.

Groq: AI 칩 하드웨어 제국에서 '네오클라우드'로의 과감한 피벗

하드웨어 기반 인퍼런스 시장에서 가장 극적이고 논쟁적인 변화를 보여준 곳은 단연 Groq입니다. 언어 처리 장치(LPU)라는 독자적인 AI 인퍼런스 특화 칩을 개발하며 엔비디아(Nvidia)의 대항마로 불렸던 Groq는, 최근 기존 투자사인 Disruptive와 Infinitum의 주도하에 6억 5천만 달러(약 8,600억 원)의 내부 자금을 조달하는 데 성공했습니다.

이 6억 5천만 달러 규모의 투자가 특별한 이유는 이 회사가 겪은 파격적인 구조조정 역사 때문입니다. 2025년 12월, Groq는 엔비디아와 약 200억 달러 규모의 비독점적 기술 라이선스 및 자산 매각 계약을 체결했습니다. 이 거래를 통해 창업자 조나단 로스(Jonathan Ross)를 비롯한 핵심 엔지니어링 리더십 대부분이 엔비디아로 합류했습니다. 이 사건은 미국 내에서 엄청난 반향을 일으켰으며, 2026년 3월 엘리자베스 워런(Elizabeth Warren) 등 미국 연방 상원의원들이 이 거래를 독점 금지 조사를 회피하기 위한 '사실상의 편법 인수(de facto acquisition)'로 규정하고 공식적인 규제 당국의 조사를 촉구하기도 했습니다.

핵심 리더십이 떠난 후, 신임 CEO 아담 윈터(Adam Winter)가 이끄는 재편된 조직은 회사 내부에서 'Groq 2.0'으로 불리고 있습니다. 이들은 기존의 칩 하드웨어 판매 비즈니스를 완전히 포기하고, 자사의 LPU 아키텍처를 기반으로 하는 초저지연 클라우드 인퍼런스 서비스인 '네오클라우드(Neocloud)' 제공업체로 사업 방향을 전면 수정했습니다. Groq의 LPU는 경쟁 솔루션 대비 최대 18배 빠른 토큰 생성 속도를 자랑하며, AI 에이전트 서비스가 요구하는 500밀리초(ms) 이하의 짧은 대기 시간(Latency)을 구현하는 데 탁월한 성능을 발휘합니다. 확보한 6억 5천만 달러의 자금은 자체 클라우드인 GroqCloud 생태계를 강화하고, 이미 200만 명을 돌파한 개발자 및 포춘 500대 기업 고객을 지원하기 위한 데이터 센터 확충에 투입될 예정입니다. Groq의 피벗은 아무리 뛰어난 기술력을 가졌더라도 하드웨어 판매만으로는 엔비디아의 쿠다(CUDA) 생태계를 넘어서기 어렵다는 현실을 보여줌과 동시에, 독자적인 칩을 고마진 매니지드 서비스로 전환하는 것이 얼마나 유효한 생존 전략인지를 증명합니다.

OpenRouter: 100조 개 토큰을 삼키는 엔터프라이즈 AI 게이트웨이

인프라 클라우드 계층 위에서 모델 간의 교통정리를 담당하는 라우팅 영역은 OpenRouter가 장악하고 있습니다. 오픈씨(OpenSea)의 전 CTO였던 알렉스 아탈라(Alex Atallah)가 창업한 이 뉴욕 기반 스타트업은, 최근 알파벳(Alphabet)의 독립 성장 펀드인 CapitalG의 주도로 1억 1,300만 달러(약 1,500억 원) 규모의 시리즈 B 투자를 유치했습니다. 이 투자를 통해 회사의 기업가치는 불과 11개월 만에 이전 라운드의 5억 4,700만 달러에서 13억 달러로 두 배 이상 치솟았습니다.

OpenRouter의 핵심 제품은 단일 API를 통해 OpenAI, 앤스로픽, 구글, 딥시크(DeepSeek) 등 60여 개 제공업체의 400개 이상의 다양한 AI 모델에 연결해 주는 통합 게이트웨이입니다. 2026년 현재 엔터프라이즈 환경에서 단 하나의 특정 AI 모델에만 의존하는 '벤더 락인(Vendor Lock-in)' 시대는 완전히 종말을 고했습니다. 대신 기업들은 논리적 추론이 필요한 작업에는 앤스로픽의 클로드를, 대규모 문서 요약에는 구글의 제미나이 플래시(Gemini Flash)를, 그리고 단순 일괄 처리에는 저렴한 오픈소스 모델을 병행하여 사용하고자 합니다. OpenRouter는 이러한 다중 모델 환경에서 속도, 비용, 모델 품질 등을 실시간으로 분석해 최적의 모델로 작업을 라우팅하고 자동 페일오버(장애 극복) 기능을 제공합니다.

가장 놀라운 것은 이 플랫폼의 폭발적인 트래픽 성장세입니다. OpenRouter는 불과 6개월 전 주당 5조 개 수준이었던 토큰 처리량을 현재 주당 25조 개(월간 기준 약 100조 개)로 5배나 끌어올렸으며, 800만 명 이상의 글로벌 활성 사용자를 확보했습니다. 한 시장 조사에 따르면 대기업의 67%가 월간 10억 개 이상의 토큰을 소비하고 있을 만큼 트래픽이 폭증하고 있으며, OpenRouter는 이 막대한 트래픽 사이에서 수수료 마진을 챙기는 완벽한 수익 모델을 구축했습니다.

이번 시리즈 B 라운드에 참여한 투자자들의 면면을 보면 그 전략적 중요성이 더욱 돋보입니다. 구글의 CapitalG가 투자를 주도했음에도 불구하고 엔비디아의 벤처 부문인 NVentures, 데이터 클라우드 강자인 Snowflake와 Databricks, 기업용 워크플로우 선두주자인 ServiceNow, 데이터베이스 기업 MongoDB 등 내로라하는 엔터프라이즈 소프트웨어의 핵심 기업들이 대거 동참했습니다. 이는 글로벌 기술 공룡들이 멀티 모델 라우팅 솔루션을 향후 기업용 AI의 가장 핵심적이고 항구적인 인프라 계층으로 받아들이고 있음을 의미합니다.

Baseten: 110억 달러 기업가치를 향해 질주하는 매니지드 인퍼런스 플랫폼

클라우드 칩 아키텍처와 라우팅 소프트웨어를 넘어, 기업들이 자체적인 AI 모델을 실제 프로덕션 환경에 배포하고 관리할 수 있도록 돕는 범용 '인퍼런스 스택' 영역에서는 Baseten이 압도적인 성과를 내고 있습니다. 최근 실리콘밸리 벤처 업계의 보고에 따르면, Baseten은 현재 110억 달러(약 14조 6천억 원)라는 놀라운 기업가치로 10억 달러 규모의 초대형 펀딩을 논의 중인 것으로 확인되었습니다. 올해 초 평가받았던 50억 달러의 기업가치에서 단 3개월 만에 두 배 이상 퀀텀 점프를 이뤄낸 것입니다.

초기 인프라 스타트업들이 흔히 겪는 매출 부재의 늪과 달리, Baseten의 가치 폭등은 철저히 경이로운 실적에 기반하고 있습니다. 2026년 1분기 초 2억 달러였던 이 회사의 연간 환산 매출(ARR)은 분기 말에 무려 6억 달러로 급상승했습니다. Notion, Cursor, Writer, HeyGen 등 차세대 AI 혁신을 주도하는 유니콘 기업들이 모두 Baseten의 고객입니다.

Baseten이 제공하는 핵심 가치는 '예측 가능한 신뢰성'입니다. 기업 단위의 프로덕션 환경에서는 초당 수만 건의 쿼리가 쏟아질 때 발생하는 '꼬리 지연 시간(Tail Latency)'을 제어하고, 트래픽 폭증에 대비해 즉각적으로 인스턴스를 확장하는 기술이 승패를 가릅니다. Baseten은 퍼블릭 클라우드, 하이브리드, 온프레미스 자가 호스팅 등 유연한 배포 옵션을 제공하며 복잡한 워크로드 오케스트레이션과 모델 호스팅의 최적화 임무를 수행합니다. Baseten이 110억 달러의 가치로 투자를 성사시킨다면, 이는 매니지드 인퍼런스 플랫폼이 클라우드 시장 내의 단순 부가 기능이 아니라 독자적이고 거대한 생태계를 지닌 '플랫폼 비즈니스'로 완전히 격상되었음을 시장 전체에 공표하는 중대한 이정표가 될 것입니다.

투자자 관점 및 향후 시장 전망

2026년의 인공지능 투자 생태계를 관통하는 가장 핵심적인 키워드는 명확합니다. 수백조 원 단위의 자본과 거대한 데이터 센터가 요구되는 파운데이션 모델 개발은 이제 앤스로픽, 오픈AI와 같은 소수의 거대 자본 연합체만이 수행할 수 있는 '국가 규모의 인프라 사업'이 되었습니다. 일반적인 벤처 캐피털 펀드 규모로는 이들과 직접 경쟁하는 모델 개발사에 투자하는 것이 사실상 불가능해졌습니다.

그 대안으로, 그리고 어쩌면 더 확실한 수익률을 보장하는 전략으로서 글로벌 벤처 자본은 인퍼런스 인프라 영역으로 맹렬히 쏟아져 들어오고 있습니다. 골드러시 시대에 가장 큰돈을 번 사람은 금을 캔 광부가 아니라 청바지와 곡괭이를 판 사람들이었다는 격언처럼, 어떤 파운데이션 모델이 기술적 우위를 점하든 결국 엔터프라이즈 시장에서는 다수의 모델을 원활하게 라우팅하고(OpenRouter), 가장 경제적으로 연산을 수행하며(Groq), 안정적으로 인프라를 운영해야만 합니다(Baseten). MLOps 및 인퍼런스 특화 펀드들은 이처럼 모델 생태계 아래에 단단히 깔려있는 범용 필수 인프라를 선점하는 데 총력을 기울이고 있습니다.

결론

Groq, OpenRouter, Baseten이 주도한 2026년 5월의 메가 펀딩 라운드들은 기술 역사의 변곡점을 정확히 짚어냅니다. AI는 이제 신기한 연구실의 실험 단계를 넘어, 기업의 재무, 사이버 보안, 주요 의사결정 워크플로우의 한가운데로 진입했습니다. 이 단계에서는 단순히 텍스트를 유창하게 생성하는 능력을 넘어, '얼마나 빠르고, 중단 없이, 비용 효율적으로' 지능형 연산을 제공할 수 있느냐가 비즈니스의 사활을 결정합니다.

하드웨어 특화 클라우드(Groq), 멀티 모델 라우팅 허브(OpenRouter), 강력한 매니지드 호스팅 인프라(Baseten)는 앞으로 수십 년간 이어질 글로벌 AI 경제를 떠받치는 3대 기둥으로 성장하고 있습니다. AI 산업의 파도를 타고자 하는 창업자와 혁신가, 그리고 차세대 유니콘을 발굴하려는 투자자들에게 이 세 기업의 성장 궤적은 반드시 연구해야 할 완벽한 지침서입니다.