120B 파라미터인데 12B만 활성화? AI 효율성의 새 기준

2026년 3월 GTC에서 NVIDIA가 공개한 Nemotron 3 Super는 AI 업계의 판도를 바꾸고 있습니다. 총 1,200억 개의 파라미터를 가지면서도 추론 시 실제로 활성화되는 파라미터는 120억 개에 불과합니다. 이 모델은 이전 세대 대비 5배 높은 처리량과 2배 향상된 정확도를 달성했으며, SWE-Bench Verified에서 60.47%라는 점수로 GPT-OSS의 41.90%를 크게 앞지르고 있습니다. 에이전틱 AI(Agentic AI) — 즉 스스로 판단하고 도구를 활용하며 복잡한 작업을 수행하는 AI — 시대에 가장 적합한 오픈 모델이 등장한 것입니다.

기업 개발자든, 개인 연구자든, 로컬 환경에서 강력한 AI 에이전트를 구축하고 싶은 분이든, Nemotron 3 Super는 기존의 비용-성능 트레이드오프를 근본적으로 재정의합니다. 이 가이드에서는 아키텍처의 핵심 원리부터 실전 배포, 멀티 에이전트 시스템 구축까지 모든 것을 다루겠습니다.

GTC 2026에서 공개된 Nemotron 3 에이전트 스택

NVIDIA는 GTC 2026 키노트에서 Nemotron 3 Super를 단독 모델이 아닌, 완전한 에이전트 스택의 핵심으로 발표했습니다. 이 스택에는 로컬 실행을 위한 Nemotron 3 Nano (4B 파라미터), 안전성 검사를 위한 Nemotron 3 Content Safety (4B), 실시간 음성 대화를 위한 Nemotron 3 VoiceChat (12B) 등이 함께 포함되어 있습니다.

특히 주목할 만한 것은 Nemotron Coalition의 출범입니다. Mistral AI, Perplexity, LangChain, Cursor 등 글로벌 AI 랩들이 참여하는 이 연합체는 차세대 Nemotron 4 오픈 모델 개발의 기반이 됩니다. NVIDIA가 오픈소스 AI 생태계의 중심축으로 자리잡겠다는 의지를 분명히 보여주는 행보입니다.

Nemotron 3 Super는 NVIDIA Nemotron Open Model License 하에 오픈 웨이트로 공개되었으며, 학습 데이터셋 10조 토큰 이상, 강화학습 환경 15개, 평가 레시피까지 모두 공개되어 있습니다. 기업이 자체 인프라에서 완전한 통제권을 갖고 배포할 수 있다는 점이 핵심적인 차별점입니다.

아키텍처 심층 분석: 세 가지 혁신의 융합

Nemotron 3 Super의 아키텍처는 세 가지 핵심 기술의 결합으로 설명할 수 있습니다.

하이브리드 Mamba-Transformer 백본

기존 Transformer 모델은 시퀀스 길이에 대해 이차(quadratic) 복잡도를 가집니다. 입력이 길어질수록 연산량이 기하급수적으로 증가하죠. Nemotron 3 Super는 Mamba-2 레이어를 다수 배치하여 시퀀스 처리를 선형 시간(linear-time)으로 수행합니다. State Space Model(SSM) 기반의 Mamba 레이어가 대부분의 시퀀스 처리를 담당하고, 정밀한 정보 회상(associative recall)이 필요한 부분에서만 Transformer 어텐션 레이어가 개입합니다. 이 조합으로 메모리 및 연산 효율이 4배 개선되었습니다.

Latent MoE (잠재 전문가 혼합)

Mixture-of-Experts(MoE)는 전체 파라미터 중 일부 전문가(expert)만 활성화하는 방식입니다. Nemotron 3 Super의 Latent MoE는 여기서 한 단계 더 나아갑니다. 토큰 임베딩을 압축한 후 전문가에게 라우팅하기 때문에, 동일한 추론 비용으로 4배 더 많은 전문가를 호출할 수 있습니다. 예를 들어, Python 코드와 SQL 쿼리를 동시에 처리할 때 각각에 특화된 전문가가 활성화되어 더 정확한 결과를 제공합니다.

Multi-Token Prediction (MTP)

일반적인 LLM은 한 번에 하나의 토큰을 예측합니다. MTP는 한 번의 포워드 패스에서 여러 미래 토큰을 동시에 예측하여, 긴 시퀀스 생성 시 최대 3배의 추론 속도 향상을 달성합니다. 이 방식은 기본 내장된 추론적 디코딩(speculative decoding)으로도 작동하여, 별도의 드래프트 모델 없이도 속도를 끌어올립니다.

실전 배포 가이드: vLLM, SGLang, TensorRT-LLM

NVIDIA는 세 가지 주요 추론 엔진에 대한 공식 쿡북을 제공합니다.

vLLM으로 배포하기

vLLM은 높은 처리량의 연속 배칭(continuous batching)과 스트리밍을 지원합니다. 기본 설정은 4x H100 환경에 맞춰져 있으며, 하드웨어에 따라 병렬화 플래그를 조정하면 됩니다.

# vLLM 서버 시작 예시
python -m vllm.entrypoints.openai.api_server \
  --model nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-FP8 \
  --tensor-parallel-size 4 \
  --max-model-len 131072

SGLang으로 배포하기

SGLang은 멀티 에이전트 도구 호출(tool-calling) 워크로드에 최적화되어 있습니다. 텐서 병렬(--tp), 전문가 병렬(--ep), 도구 호출 파싱, 추론 파서, EAGLE 기반 추론적 디코딩을 지원합니다.

TensorRT-LLM으로 배포하기

プロダクション 환경에서 최저 지연시간이 필요하다면 TensorRT-LLM이 최적입니다. Latent MoE 전용 커널이 포함되어 있어, Blackwell GPU에서 NVFP4 정밀도로 H100 FP8 대비 4배 빠른 추론이 가능합니다.

Ollama로 로컬 실행하기

개인 환경에서도 실행이 가능합니다. 4비트 양자화 버전 기준으로 약 64~72GB의 RAM/VRAM이 필요합니다. Mac Studio(M2 Ultra 이상)나 RTX 4090 듀얼 구성에서 실행할 수 있습니다.

ollama run nemotron-3-super

다만 FP16 전체 정밀도로는 약 240GB VRAM이 필요하므로, 프로페셔널 워크스테이션이나 클라우드 환경을 권장합니다.

멀티 에이전트 시스템 구축: 실전 패턴

Nemotron 3 Super가 에이전틱 AI에 특히 강력한 이유는 두 가지입니다.

첫째, 컨텍스트 폭발(Context Explosion) 관리입니다. 멀티 에이전트 워크플로우에서는 각 에이전트가 주고받는 메시지, 도구 호출 결과, 중간 추론 과정 등이 누적되면서 컨텍스트가 급격히 팽창합니다. 100만 토큰의 네이티브 컨텍스트 윈도우는 이 문제를 정면으로 해결합니다. 전체 코드베이스를 한 번에 로드하거나, 수천 페이지의 금융 보고서를 분할 없이 처리할 수 있습니다.

둘째, 비용 효율적인 계층형 시스템입니다. NVIDIA는 간단한 작업은 Nemotron 3 Nano가, 복잡한 추론이 필요한 작업은 Nemotron 3 Super가 처리하는 계층형 에이전트 패턴을 권장합니다. 예를 들어 코드 리뷰 에이전트를 구축할 때, 단순 머지 리퀘스트는 Nano가 처리하고, 아키텍처적 판단이 필요한 복잡한 변경사항은 Super가 담당하는 식입니다.

NVIDIA의 AI-Q 리서치 에이전트는 Nemotron 3 Super를 기반으로 DeepResearch Bench I, II 리더보드에서 1위를 차지했습니다. 이 벤치마크는 AI 시스템의 다단계 심층 연구 수행 능력을 측정합니다.

벤치마크 성능: 오픈 모델의 새로운 정점

구체적인 성능 수치를 살펴보겠습니다.

| 지표 | Nemotron 3 Super | GPT-OSS-120B | Qwen3.5-122B | |------|-----------------|--------------|---------------| | 추론 처리량 (8k in/16k out) | 기준 | 2.2배 느림 | 7.5배 느림 | | SWE-Bench Verified | 60.47% | 41.90% | - | | RULER (1M 토큰) | 91.75% | 22.30% | - | | PinchBench | 85.6% | - | - |

특히 RULER 벤치마크에서의 차이가 극적입니다. 100만 토큰 길이에서 91.75% vs 22.30%는 Mamba-Transformer 하이브리드 아키텍처의 장문 처리 능력이 압도적임을 보여줍니다.

파인튜닝과 커스터마이징

Nemotron 3 Super는 완전히 열린 학습 파이프라인을 제공합니다.

• 사전학습 데이터: 25조 토큰 (10조 고유 큐레이션 토큰)
• SFT 데이터: 4,000만 포스트트레이닝 코퍼스에서 추출한 700만 샘플
• 강화학습: NeMo Gym 기반 21개 환경에서 120만+ 롤아웃

파인튜닝은 NeMo Megatron-Bridge 또는 NeMo Automodel을 통한 LoRA SFT, 그리고 NeMo RL을 통한 GRPO/DAPO 강화학습이 지원됩니다. 법률, 의료, 금융 등 특정 도메인에 맞춘 커스터마이징이 가능하며, Amazon Bedrock에서의 강화 파인튜닝 지원도 곧 예정되어 있습니다.

클라우드 및 파트너 생태계

Nemotron 3 Super는 이미 광범위한 플랫폼에서 이용 가능합니다. build.nvidia.com, Hugging Face, Google Cloud Vertex AI, Microsoft Azure, Oracle Cloud에서 접근할 수 있으며, Perplexity, OpenRouter, DeepInfra, Fireworks AI, Together AI, Modal, Baseten, Cloudflare Workers AI 등 수십 개의 추론 제공업체를 통해서도 사용할 수 있습니다.

기업 환경에서는 NVIDIA NIM 마이크로서비스로 온프레미스 배포가 가능하며, Dell Enterprise Hub와 HPE Agents Hub와의 통합도 지원됩니다. Perplexity, CodeRabbit, Palantir, Siemens, Dassault Systèmes 등 다양한 기업이 이미 실전에 도입하고 있습니다.

실전 적용 팁과 권장 사항

시작하기: 가장 빠른 방법은 build.nvidia.com에서 API를 통해 테스트하는 것입니다. 로컬 실행이 필요하다면 Ollama를 통한 4비트 양자화 버전부터 시작하는 것을 추천합니다.

멀티 에이전트 워크플로우: SGLang을 추론 엔진으로 선택하면 도구 호출 최적화 덕분에 에이전트 간 통신이 더 효율적입니다. 복잡한 파이프라인에서는 Nano와 Super를 함께 활용하는 계층형 패턴을 적극 권장합니다.

프로덕션 배포: Blackwell GPU(B200)를 사용할 수 있다면 NVFP4 정밀도로 최대 성능을 끌어낼 수 있습니다. TensorRT-LLM의 Latent MoE 전용 커널은 프로덕션 환경에서의 지연시간을 최소화합니다.

앞으로의 전망

Nemotron 3 Super는 단순한 언어 모델이 아니라, 에이전틱 AI 시대를 위한 인프라 계층입니다. 하이브리드 Mamba-Transformer 아키텍처, Latent MoE, Multi-Token Prediction이라는 세 가지 혁신의 결합은 오픈 모델이 독점 모델과 대등하게, 때로는 그 이상으로 경쟁할 수 있음을 증명했습니다. Nemotron Coalition을 통한 차세대 모델 개발, Amazon Bedrock 등 주요 클라우드 플랫폼과의 통합 확대, 그리고 커뮤니티 기반의 도메인 특화 파인튜닝이 계속 이어질 것으로 보입니다. 에이전틱 AI를 진지하게 고려하고 있다면, 지금이 Nemotron 3 Super를 시작하기에 가장 좋은 시점입니다.