推論のレイテンシとは　業界の性能試験は最初の1語を0.45秒、次の語を40ミリ秒以内と定める

推論のレイテンシとは、AIモデルに入力を渡してから、結果が返ってくるまでの時間のことです。チャットの画面では、文字が1つずつ流れるように出てきます。このため、最初の文字が出るまでの待ちと、文字が流れる速さを別々に測ります。

2つの物差し

TTFT（Time To First Token）は、最初の1トークンが出るまでの時間です。この間に、AIは質問の文章を全部読み込み、計算の途中結果をメモリに置きます。質問が長いほど、TTFTは長くなります。

TPOT（Time Per Output Token）は、2つ目以降のトークンが出る平均の間隔です。答えの1語ごとに、モデルの重みと途中結果をメモリから読み出します。このため、TPOTはメモリの帯域、つまりHBMの速さに左右されます。TPOTが40ミリ秒なら、1人あたり毎秒25トークンの速さです。

性能試験が定める上限

半導体の会社は、AIチップの推論の性能を、業界団体MLCommonsの試験「MLPerf Inference」で比べています。試験は、決められたレイテンシの上限を守ったうえで、どれだけ多くの要求をさばけたかを競います。

MLPerf Inference（データセンター向け）のレイテンシの上限

モデル	区分	TTFT	TPOT
Llama 2 70B	会話	2,000ミリ秒	200ミリ秒
Llama 2 70B	対話	450ミリ秒	40ミリ秒
Llama 3.1 405B	サーバー	6,000ミリ秒	175ミリ秒
DeepSeek-R1	対話	1,500ミリ秒	15ミリ秒
GPT-OSS-120B	対話	2,000ミリ秒	20ミリ秒

考えてから答える推論型のモデルは、答えの前に長い文章を内部で書きます。DeepSeek-R1の対話向けのTPOTが15ミリ秒と短いのは、そのためです。15ミリ秒は毎秒約67トークンにあたります（計算）。

各社の示し方

Llama 2 70Bの対話向けの条件は、会話の条件に比べてTTFTが約4.4分の1、TPOTが5分の1です（計算）。対話向けの区分は2025年の第5版で加わりました。エヌビディアは2025年4月、この版の結果で、GB200 NVL72はLlama 3.1 405BでGPU1基あたりの性能がH200の8基構成の最大3.4倍だったと発表しました。

レイテンシとスループットは、同じ機械では引っ張り合いになります。多くの要求をまとめて処理すれば1台あたりの量は増えますが、1人あたりの待ちは長くなります。試験が上限を決めて競わせるのは、この引っ張り合いの中で比べるためです。

関連する用語

• トークン：AIが文章を扱う単位です。日本語では1文字前後、英語では単語の一部にあたります。
• スループット：一定時間にさばける要求やトークンの総量です。
• KVキャッシュ：読み込んだ文章の途中結果を置くメモリです。TTFTとTPOTの両方に関わります。