推論のレイテンシとは 業界の性能試験は最初の1語を0.45秒、次の語を40ミリ秒以内と定める
推論のレイテンシは、AIが答えを返すまでの待ち時間です。業界団体MLCommonsの性能試験は、対話向けのLlama 2 70Bで、最初の1語を450ミリ秒、以後1語ごとを40ミリ秒以内とする条件を置いています。
トップ › 記事一覧
記事一覧
新しい順（1,003本、5ページ目）。分類で絞るときは下の札から。
MFUとは GPT-3は21.3%、PaLMは46.2%、Llama 3は38〜43%
MFUは、チップの最大の計算能力のうち、モデルの計算に使えた割合です。グーグルのPaLMは46.2%、メタのLlama 3は38〜43%でした。
GPUの稼働率とは メタは1万6千基の学習で54日に419回の想定外の停止
GPUの稼働率は、GPUが仕事をしている時間や能力の割合を指します。メタはLlama 3の学習で、54日間に466回の中断があり、そのうち419回が想定外だったと公表しました。
チェックポイントとは 故障に備えた学習の途中保存、Llama 3は1日平均7.8回止まった
チェックポイントは、AIの学習の途中の状態を保存し、止まった時にそこから再開するための仕組みです。メタはLlama 3 405Bの学習で、54日間に419回の想定外の中断があったと報告しています。
パイプライン並列とは 層の並びをGPUに割り振る流れ作業、Llama 3は16段に分割
パイプライン並列は、モデルの層を前後の区間に分けてGPUに割り振り、工場の流れ作業のように学習させる方法です。メタはLlama 3 405Bの学習で、モデルを16の区間に分けました。
モデル並列とは 重みの行列を割ってGPUで分担、Megatronは83億の重みを512基で
モデル並列は、1つのAIのモデルを複数のGPUに切り分けて置き、協力して計算する方法です。エヌビディアの研究者は2019年、83億個の重みのモデルを512基のGPUで学習し、1基の場合に比べ76%の効率を保ったと報告しました。
データ並列とは GPUごとに別のデータで学習し結果を平均、メタはLlama 3で128組に
データ並列は、学習のデータを多数のGPUに分け、それぞれが同じモデルの写しで計算して結果を平均する方法です。マイクロソフトの研究者は、写しの重複を削るZeROで、1,000億個を超える重みのモデルを400基のGPUで学習できたと報告しました。
分散学習とは 1つのモデルを数万基のGPUに分ける、メタのLlama 3は4種類の分け方を併用
分散学習は、1つのAIのモデルの学習を多数のGPUに分けて同時に進める方法です。メタはLlama 3 405Bを最大1万6千基のH100で学習し、4種類の分け方を組み合わせ、GPUの計算能力の38〜43%を引き出しました。
ストレージサーバーとは SSDやHDDを大量に積む記憶専用の機械、メタは7,500台で240PB
ストレージサーバーは、SSDやHDDを多数積み、ネットワーク越しにデータを読み書きさせる記憶専用のサーバーです。メタはLlama 3の学習に、SSDを積んだ7,500台のサーバーで240ペタバイトの記憶の基盤を用意しました。
SmartNICとは 通信の周りの仕事をサーバーから引き取る、BlueField-4は前世代のコア4倍
SmartNICは、ネットワークカードに計算の回路を積み、通信の周りの仕事をサーバーのCPUから引き取る部品です。エヌビディアのBlueField-4は64コアのGraceのCPUを積み、BlueField-3の16コアの4倍にしました。
NIC（ネットワークカード）とは GPU1基に1枚が基本、次世代は1枚で毎秒1.6テラビット
NICは、サーバーとネットワークの間でデータを出し入れする部品です。エヌビディアの次の世代のConnectX-9は、Rubin GPU1基あたり毎秒1.6テラビットの通信を受け持ちます。
スイッチASICとは データの行き先を振り分ける専用の半導体、3ナノの品は毎秒102.4テラビット
スイッチASICは、ネットワークのスイッチの中枢で、データの行き先を判断して送り出す専用の半導体です。ブロードコムの最新品Tomahawk 6は3ナノメートルの工程で作り、1個で毎秒102.4テラビットを処理します。
銅ケーブルと光の使い分け ラックの中は銅で毎秒130TB、外は光で1口30W
AIのデータセンターでは、ラックの中のGPUどうしは銅のケーブル、ラックの外へは光ファイバでつなぐ使い分けが基本です。エヌビディアのGB200 NVL72は、72基のGPUを銅のケーブルの束で合計毎秒130テラバイトでつないでいます。
光インターコネクトとは データセンターの配線を光に、グーグルの光スイッチは費用の5%未満
光インターコネクトは、計算機や半導体の間のデータを光で運ぶ配線の総称です。グーグルは、4,096個のTPUを光の経路切り替えのスイッチでつなぎ、その費用はシステム全体の5%未満、電力は3%未満だったと報告しています。
インメモリ演算とは 電流の足し合わせで計算する方式、IBMの試作は電力効率14倍
インメモリ演算は、メモリの素子そのものを使って掛け算と足し算を行う方式です。IBMは2023年8月、1チップに3,500万個の相変化メモリの素子を並べた試作で、音声の文字起こしの電力の効率が同等の方式の約14倍になったと発表しました。
ニアメモリ演算とは メモリのそばで計算する設計、SKハイニックスは特定計算で16倍
ニアメモリ演算は、メモリのすぐそばに計算の回路を置き、データの往復を減らす設計です。SKハイニックスは、メモリに計算の機能を足したGDDR6-AiMで、特定の計算が16倍速く、消費電力は80%減るとしています。
オンチップメモリとは チップの中に作るメモリの階層、H100はレジスタだけで約33MB
オンチップメモリは、計算の回路と同じチップの中に作るメモリです。エヌビディアのH100は、計算の単位ごとに256KBのレジスタと256KBのL1・共有メモリを持ち、全体で50MBのL2キャッシュを持ちます。
SRAMとは 6個のトランジスタで1ビット、Groqの新チップは500MBを積む
SRAMは、電源が入っている間は値を保ち続ける、速いメモリの回路です。エヌビディアによると、Groqの技術を使う推論向けの半導体「Groq 3 LPU」は、1チップに500MBのSRAMを積み、毎秒150テラバイトでデータを読み書きします。
キャッシュとは 計算の回路のそばの小さく速いメモリ、H100のL2は50MB
キャッシュは、メインのメモリから読んだデータを計算の回路のそばに一時的に置く、小さく速いメモリです。エヌビディアのH100は、GPU全体で共有するL2キャッシュを50MB持ち、前の世代のA100の1.25倍にしました。
メモリ容量の壁とは 4,050億の重みは16ビットで810GB、H100の10倍超
メモリ容量の壁は、AIのモデルの大きさに半導体のメモリの量が追いつかない問題です。メタのLlama 3.1 405Bは16ビットで約810GBとなり、H100の80GBの10倍を超えます（計算）。
メモリ帯域とは 端子の数×速さで決まる、HBM4は端子を2,048本に倍増
メモリ帯域は、メモリと計算の回路の間で1秒間に運べるデータの量です。エヌビディアのGPU1基の帯域は、H100の毎秒3.35テラバイトから、Rubinの毎秒22テラバイトに広がります。
スパース化とは 使わない計算を省く方法、MoEは6,710億の重みのうち370億だけ動かす
スパース化は、AIのモデルのうち値がゼロの部分や使わない部分を計算から外す方法です。エヌビディアのA100は、4つの値のうち2つをゼロにする形で、16ビットの計算性能を毎秒312兆回から624兆回に倍増させました。
量子化とは 学習後か学習中か、グーグルのGemma 3は重みを54GBから14.1GBに
量子化は、AIのモデルが使う数値を16ビットから8ビットや4ビットに減らし、メモリと計算を軽くする方法です。グーグルは2025年4月、学習の段階から4ビットに慣らしたGemma 3 27Bを公開し、重みの大きさを54GBから14.1GBにしました。
推論サーバーとは 問い合わせをまとめてGPUに流すソフト、処理量2〜4倍の例
推論サーバーは、AIへの大量の問い合わせを受け付け、GPUで効率よく処理して答えを返すソフトです。公開の推論ソフトvLLMの論文は、従来のソフトに比べ処理量を2〜4倍に増やせたと報告しています。
TensorRTとは 学習済みモデルをGPU向けに作り直す推論の道具
TensorRTは、学習済みのAIのモデルを、エヌビディアのGPUで速く答えを出せる形に変えるソフトの一式です。エヌビディアは、CPUだけで動かす場合に比べ推論を36倍速くできるとしています。
JAXとは 関数を変換して速くするAIの道具、TPUの9216チップ構成も視野
JAX（ジャックス）は、Pythonで書いた配列の計算を、コンパイルや自動微分の形に変換して速く動かす公開のライブラリです。同じコードがCPU、GPU、グーグルのTPUで動き、2026年10月23日に0.12.0.1版が出ました。
PyTorchとは AIの学習と推論を書く道具、最新2.15版は583人が開発に参加
PyTorch（パイトーチ）は、AIのモデルをPythonで組み立て、GPUなどで学習・推論させるための公開のソフトです。2026年10月28日に出た2.15版には、583人から3,117件の変更が入りました。
AI向けコンパイラとは モデルを各社の半導体向けに組み直すソフト
AI向けのコンパイラは、AIのモデルの計算をまとめて読み取り、半導体ごとの速い命令に組み直すソフトです。PyTorchの開発陣によると、新しい言語Helionの自動設定は、vLLMの手書きのCUDAの部品より1.27倍速く動きました。
ROCmとは AMDのGPUを動かすソフトの一式、10月に10.1版
ROCm（ロックエム）は、AMDのGPUで汎用の計算をするための開発基盤で、中身を公開して配っています。2026年10月5日付の10.1.0版は、PyTorch 2.14やvLLM 0.29などに対応しました。
CUDAとは 2006年に登場したGPUの開発基盤、開発者は750万人超
CUDAは、エヌビディアのGPUで汎用の計算をするための開発基盤です。同社の年次報告書によると、CUDAなどの同社のソフトを使う開発者は世界で750万人を超えます。