スループットとは　GB300 NVL72はDeepSeek-R1でGPU1基あたり毎秒5842トークン

スループットとは、システムが単位時間あたりに処理できる仕事の量のことです。AIの推論では、1秒間に出せるトークン（文章の単位）の合計で表すのが一般的です。1人の利用者が感じる速さはレイテンシ、機械全体でさばける量はスループットと、見ている対象が違います。

レイテンシとの引っ張り合い

GPUは、複数の要求をまとめて処理すると効率が上がります。モデルの重みを1回メモリから読み出せば、まとめた分の計算に使い回せるからです。まとめる数を増やすとスループットは上がりますが、1人あたりの待ちは延びます。

業界の性能試験MLPerfは、このため2つの場面を分けています。オフラインは、全部の要求を最初に渡して、終わるまでの総量を測ります。サーバーは、要求が不規則に届き、最初の1語と1語ごとの間隔に上限がある条件で測ります。

公表された数字

DeepSeek-R1の推論のスループット（GPU1基あたり、毎秒トークン）

システム	オフライン	サーバー
DGX H200（GPU8基）	1,253	556
GB200 NVL72（GPU72基）	4,024	2,327
GB300 NVL72（GPU72基）	5,842	2,907

出所はエヌビディアの2025年9月9日の発表で、H200の数字はMLCommonsの検証を受けていないと注記しています。GB300 NVL72は、オフラインでH200の約4.7倍です（計算）。同じGB300でも、サーバーの条件ではオフラインの約半分になります（計算）。

同じ発表では、条件の厳しい対話向けの試験で、Llama 2 70BがGPU1基あたり毎秒7856トークン、Llama 3.1 405Bが138トークンでした。モデルが大きいほど、1語ごとに読むメモリの量が増え、スループットは下がります。

処理を分ける工夫

エヌビディアは、質問を読み込む段階と、答えを1語ずつ書く段階を別々のGPUに分ける「分離型の推論」を使いました。Llama 3.1 405Bの対話向けの試験で、GB200 NVL72のスループットは、分けない場合のDGX B200の約1.5倍になったとしています。読み込みは計算の量、書き出しはメモリの速さで決まるため、性質の違う2つを分けると無駄が減ります。

関連する用語

• レイテンシ：1つの要求の待ち時間です。
• バッチ処理：複数の要求をまとめて処理することです。
• トークン：AIが文章を扱う単位です。API（外部から使う窓口）の料金も、トークンの数で決まります。