パラメータ数とは　4050億パラメータのモデルは16ビットで約810GBのメモリが要る

パラメータ数は、AIモデルの中にある、学習によって値が決まる数値（重み）の個数です。モデルの大きさを表す最もよく使われる物差しで、「70B」なら700億個を意味します。Bは英語のbillion（10億）の頭文字です。

仕組み　つながりの強さを表す数値

ニューラルネットワークは、入力の数値に重みを掛けて足し合わせる計算を何層も重ねたものです。重みは、ある要素が次の計算にどれだけ効くかを表すつながりの強さです。学習では、答えのずれが減るようにこの重みを少しずつ直します。重みの数が多いほど、モデルは多くの知識やパターンを表せます。

同時に、必要なメモリと計算も増えます。パラメータ1個を16ビット（2バイト）で持つなら、4050億個で約810GBです。8ビットなら約405GB、4ビットなら約203GBになります（いずれも計算）。エヌビディアのH100は1基あたり80GBのメモリなので、16ビットのままでは1基に収まらず、複数のGPUに分けて置くことになります。

主なモデルのパラメータ数

公表されたパラメータ数

モデル	公表	パラメータ数
GPT-3（OpenAI）	2020年5月	1750億
Gopher（ディープマインド）	2022年3月の論文で比較	2800億
Chinchilla（ディープマインド）	2022年3月	700億
Llama 3.1 405B（メタ）	2024年7月	4050億
DeepSeek-V3	2024年12月	6710億（1トークンあたり370億を使用）

GPT-3の論文は、1750億というパラメータ数を、それまでの疎でない言語モデルの10倍としていました。一方、2022年のChinchillaの論文は、700億のChinchillaを、Gopherの4倍のデータで学習させたところ、57科目の知識を問う試験（MMLU）の平均正解率で67.5%となり、Gopherを7ポイント超上回ったと報告しました。モデルの大きさとデータの量の釣り合いが成績を左右します。

一方で、API（外部から使う窓口）で提供される商用の大型モデルの多くは、パラメータ数を公表していません。公開されたモデルの数字が、比べる手がかりになっています。

関連する用語

• MoE（専門家混合）：全体のパラメータのうち、1つのトークンの計算に一部だけを使う設計。
• 量子化：パラメータを少ないビット数で表し、メモリと計算を減らす手法。
• HBM：GPUの隣に置く大容量で速いメモリ。パラメータの置き場所になります。

エヌビディアのDGX B200は、GPU8基で合計1440GBのHBMを積んでいます。