演算精度（FP8・FP4）とは　FP4はFP16よりメモリを約3.5分の1に、エヌビディアの説明

演算精度は、コンピューターが1つの数を何ビットで表して計算するかを示す言葉です。科学技術の計算では64ビット（FP64）や32ビット（FP32）を使いますが、AIの計算はそこまで細かい数を必要としない部分が多く、16ビット、8ビット、4ビットへと精度を下げる工夫が進んできました。

仕組み　符号・指数・仮数に分ける

浮動小数点の数は、正か負かを表す「符号」、桁の位置を表す「指数」、数字の並びを表す「仮数」の3つに分けてビットを割り当てます。ビットが少ないほど、表せる数の細かさと範囲が狭くなります。

主な演算精度の形式

形式	ビット数	内訳（符号・指数・仮数）	主な使い道
FP32	32	1・8・23	科学計算、学習の一部
BF16	16	1・8・7	学習
FP8（E4M3）	8	1・4・3	学習と推論
FP4（E2M1）	4	1・2・1	推論

4ビットのE2M1で表せる値は、およそマイナス6からプラス6の範囲に限られます。そこでエヌビディアのNVFP4は、16個の数をひとまとまりにして、まとまりごとに8ビット（E4M3）の倍率を、データ全体にも32ビットの倍率を1つ持たせます。倍率の分を含めると、1つの数あたり4.5ビットの計算です。

メモリと計算の量が変わる

エヌビディアは2025年6月24日の技術ブログで、NVFP4はモデルのメモリの量をFP16の約3.5分の1、FP8の約1.8分の1にすると説明しました。DeepSeek-R1-0528をFP8からNVFP4に変えた試験では、主な言語の課題での成績の低下が1%以内でした。NVFP4は同社のBlackwell世代のGPUの回路が扱います。

計算の速さも精度で変わります。エヌビディアのDGX B200（GPU8基）の公表値は、疎の条件でFP8が72ペタFLOPS、FP4が144ペタFLOPSで、FP4はFP8の2倍です（計算）。マイクロソフトの推論用チップMaia 200も、FP4で10ペタFLOPS超、FP8で5ペタFLOPS超としています。グーグルは第7世代TPUのIronwoodの性能を、FP8で1チップあたり4614テラFLOPSと示しています。精度を下げた計算への対応は、各社のAI向けチップに共通する設計です。

関連する用語

• 量子化：学習を終えたモデルの数値を、少ないビットの形式に直すこと。
• FLOPS：1秒あたりの浮動小数点の計算回数。精度ごとに値が違います。
• 混合精度：計算の部分ごとに、高い精度と低い精度を使い分けるやり方。

エヌビディアはFP8について、Hopper世代とBlackwell世代のGPUが扱えるとしています。