推論（インファレンス）とは　グーグルの自社モデルのAPIは1分に約320億トークンを処理

推論（インファレンス）は、学習を終えたAIモデルに、質問の文章や画像を入れて、答えを出す計算です。学習がモデルをつくる段階なら、推論はモデルを使う段階です。チャットの返事、画像の説明、プログラムの生成など、利用者がAIを使うたびに推論が動きます。

仕組み　読む段階と書く段階

言語モデルの推論は2つの段階に分かれます。最初は、入力の文章をまとめて読み込む段階（プリフィル）です。多くのトークンを一度に計算できるため、チップの計算の力が効きます。

次は、答えを1トークンずつ書いていく段階（デコード）です。1トークンを出すたびに、モデルの数値をメモリから読み出します。計算の量に比べてメモリから読む量が多いため、HBMの容量と速さが答えの速さを決める要因です。読み込んだ文脈の途中の結果は「KVキャッシュ」としてメモリに置き、次のトークンの計算に使います。

米マイクロン・テクノロジーは9月30日、このKVキャッシュをSSDに移す使い方などで、データセンター向けSSDの市場が広がっていると説明しました。同社の6〜8月期のデータセンター向けSSDの売上は100億ドル近くで、前年同期の10倍を超えました。

利用の規模と推論向けのチップ

アルファベットの10月28日の決算発表で、スンダー・ピチャイCEOは、自社モデルのAPIが1分あたり約320億トークンを処理していると述べました。1日に直すと約46兆トークンです（計算）。Geminiのアプリの利用者は10億人に達しました。

推論向けをうたう主なチップ（会社の公表値）

チップ	会社	会社の説明
Ironwood	グーグル	推論のために設計した初めてのTPU。HBM 192GB
TPU 8i	グーグル	HBM 288GB、価格あたりの性能は前世代より80%高い
Maia 200	マイクロソフト	推論向け。HBM 216GB、価格あたりの性能は既存の設備より30%高い
DGX B200	エヌビディア	推論の性能はDGX H100の15倍（会社の見込み）

推論は回数が多いため、1回あたりの費用の差が積み重なります。各社がメモリを多く積み、少ない桁数の数値（FP4など）で計算するチップを出しているのはこのためです。

関連する用語

• 学習：大量のデータでモデルの数値を直していく計算。
• トークン：AIが文章を扱う単位。推論の量や料金はトークンで数えます。
• KVキャッシュ：推論の途中で、読み込んだ文脈の計算結果を保存しておく領域。
• レイテンシー：入力から答えが返るまでの時間。

マイクロソフトはMaia 200を米アイオワ州デモイン近くのデータセンターで動かし始め、次はアリゾナ州フェニックス近くの拠点に入れるとしています。