バッチ処理とは　オープンAIとアンソロピックは急がない処理の料金を半額に

バッチ処理とは、たくさんの要求をひとまとめにして、計算機にまとめて流す処理の方法です。銀行の夜間の一括処理と同じ考え方です。AIの分野では、GPUの中の計算のまとめ方と、利用者がAIの会社に要求をまとめて送るサービスの両方を、バッチ処理と呼びます。

GPUの中で起きていること

文章を出すAIは、1語を出すたびに、モデルの重みをGPUのメモリ（HBM）から読み出します。1件だけ処理すると、読み出しの時間に比べて計算の時間が短く、GPUの計算部分は手が空きます。

要求を10件まとめれば、1回読み出した重みで10件分の計算ができます。読み出しの回数は同じまま、仕事の量が増えます。まとめる件数をバッチサイズと呼びます。大きくするほどGPUの利用率は上がりますが、各要求の待ちは長くなり、途中の結果を置くメモリも余計に要ります。

推論のサーバーでは、終わった要求から順に新しい要求を差し込む「連続バッチ処理」が広く使われています。答えの長さが要求ごとに違っても、GPUを空けずに済むからです。

急がない要求を安く売る

AIの会社は、すぐに答えが要らない要求を、空いている時間にまとめて処理するサービスを出しています。データの分類、文書の要約、モデルの評価のように、大量に流して後で結果を受け取る用途に向きます。

AI各社のバッチ処理のサービスの条件

項目	オープンAI（Batch API）	アンソロピック（Message Batches API）
料金	同時処理の50%引き	通常の50%引き
1回の上限	5万件・200MB	10万件・256MB
返す期限	24時間	24時間で失効
結果の保管	-	作成から29日

オープンAIは、バッチの利用量は通常の利用の上限とは別に数えると説明しています。アンソロピックは、多くのバッチが1時間以内に終わるとしつつ、混み具合で処理が遅くなり、24時間で失効する要求が増えることもあると書いています。

半導体から見た意味

昼と夜で要求の量が変わっても、GPUの台数は変えられません。急がない要求を空いた時間に回せば、同じ台数でさばける量が増えます。料金を半額にしても、空いたGPUを遊ばせるより収入になります。

関連する用語

• スループット：一定時間にさばける量です。バッチを大きくすると増えます。
• レイテンシ：1件の待ち時間です。バッチを大きくすると延びます。
• KVキャッシュ：要求ごとの途中の結果を置くメモリです。バッチの大きさの上限を決めます。