スケーリング則とは　2020年の論文は7けた超の範囲でべき乗の関係を確かめた

スケーリング則（スケーリング・ロー）は、AIのモデルを大きくし、学習のデータと計算を増やしたとき、性能がどのように上がるかを数式で表した経験則です。物理の法則のように証明されたものではなく、多くの実験の結果から見つかった傾向です。

仕組み　べき乗の関係

2020年1月に公開されたジャレッド・カプランらの論文「Scaling Laws for Neural Language Models」は、言語モデルの誤りの大きさ（損失）が、モデルの大きさ、データの量、学習の計算の量のそれぞれと、べき乗の関係にあると報告しました。この傾向は7けたを超える範囲で見られたとしています。

べき乗の関係では、規模を10倍にするたびに誤りが一定の割合ずつ減ります。そのため、性能を一段上げるには、規模を何倍にも増やす必要があります。論文は、同じ計算の量なら大きなモデルの方がデータを効率よく使えるとし、大きなモデルを比較的少ないデータで学習させるのが計算の効率が良いと結論づけました。

2022年の見直し

2022年3月、ジョーダン・ホフマンらの論文「Training Compute-Optimal Large Language Models」は、この配分を見直しました。7000万から160億超のパラメータのモデルを、50億から5000億トークンのデータで400以上学習させて調べ、計算の量を最も有効に使うには、モデルの大きさと学習のトークン数を同じ割合で増やすべきだとしました。モデルの大きさを2倍にするなら、トークン数も2倍にするという関係です。

2つの論文の主な結論

論文	公開	主な結論
Kaplan ほか	2020年1月	誤りはモデル・データ・計算とべき乗の関係。大きなモデルを少なめのデータで
Hoffmann ほか（Chinchilla）	2022年3月	モデルの大きさとトークン数を同じ割合で増やす

この考えで作った700億パラメータのChinchillaは、2800億パラメータのGopherと同じ計算の予算で、4倍のデータを使って学習しました。57科目の試験MMLUの平均正解率は67.5%で、Gopherを7ポイント超上回りました。その後のモデルはデータを多く使う方向に進み、メタのLlama 3.1 405Bは15兆トークン超で学習しています。1パラメータあたり約37トークンです（計算）。

半導体の需要との関係

スケーリング則は、計算を増やせば性能が上がるという見通しを与え、AI向けの計算設備への投資の根拠になってきました。東京エレクトロンは10月30日の説明会資料で、トークンの量の増加と演算の複雑化がAIのインフラ全体の半導体の需要を引っ張るとしています。マイクロン・テクノロジーも、モデルのパラメータの増加や文脈の長さの拡大が、必要なメモリと記憶装置の量を増やし続けていると説明しています。

関連する用語

• 損失（ロス）：モデルの予測と正解のずれを数値にしたもの。
• 計算最適：決まった計算の予算で最も良い性能を出す、モデルの大きさとデータの量の組み合わせ。
• パラメータ数：モデルの大きさを表す数値の個数。

Chinchillaの論文は22人の著者による共著で、カプランらの論文は10人の共著です。