3. NVIDIA Nemotron 3.5 Super VL — 120BモデルをAWS EKSで動かす実装ガイド公開
技術記事公開：10月29日｜既存モデルの新しいAWS実装例
AWSが、NVIDIAのマルチモーダルモデル「Nemotron 3.5 Super VL」をEKSとSageMaker HyperPod EKSへデプロイする技術ガイドを公開しました。
Nemotron 3.5 Super VLは、総120BパラメータのMoEモデルで、推論時にアクティブになるのは12Bパラメータです。
テキスト、画像、文書、動画を入力でき、最大100万トークンのコンテキストに対応します。
なお、モデル自体は10月15日に公開済みです。今回の新着は10月29日のAWS向け実装ガイドです。
なぜ重要か
オープンウェイトモデルを自社インフラで運用する際の、GPU構成と性能測定方法が具体的に公開されたためです。
モデルの性能だけでなく、実際に必要なGPU台数を判断できます。
技術・実装ポイント
Nemotron 3.5 Super VLは、次の技術を組み合わせています。
| 技術 | 役割 |
|---|---|
| MoE | トークンごとに必要な専門ネットワークを選択 |
| Mamba-2 | 長い系列の効率的な処理 |
| Transformer Attention | 文脈間の関係を処理 |
| RADIO Vision Encoder | 画像・動画の理解 |
| Multi-Token Prediction | 推論高速化 |
特にMamba-2とMoEを組み合わせている点が興味深いところです。
アクティブパラメータ数を削減しながら、長いコンテキストを扱うための計算効率を高めています。
GPU要件
AWSが示したvLLM構成での最小GPU台数です。
| GPU | BF16 | NVFP4 |
|---|---|---|
| B200 / GB200 | 8 | 2 |
| B300 / GB300 | 4 | 1 |
| H200 | 8 | 4 |
| H100 | 16 | 8 |
NVFP4量子化によって必要なGPU台数を削減できます。
ただし、量子化による精度への影響や実効性能は、用途ごとに検証する必要があります。
API・料金： モデル重みを使用するセルフホスト方式では、モデルAPIのトークン従量料金ではなく、主にGPUインスタンス、ストレージ、ネットワークなどのインフラ費用が発生します。
AWSの実装例では、EKS、ECR、FSx for Lustre、EFA、NVIDIA Dynamo、vLLMを組み合わせています。
また、TTFT（最初のトークンまでの時間）とITL（トークン間の遅延）を別々に計測し、GPUの配置を最適化する方法も紹介されています。
公式情報：AWS公式技術ガイド ／ NVIDIA公式モデルカード