学習データの不足とは　公開の文章は約300兆トークン、2026〜2032年に使い切るとの推計

学習データの不足とは、大きな言語モデルの学習に使える、人が書いた質の高い文章の量が、モデルの必要とする量に追いつかなくなる問題です。半導体の台数は増やせますが、人類が書いて公開した文章は急には増えません。AIの性能の伸び方を左右する制約の1つとして議論されています。

なぜ足りなくなるか

言語モデルの学習では、計算量を増やすとき、パラメータの数と学習に使うトークンの数をそろえて増やすと効率がよいことが知られています。さらに、推論の費用を下げるため、小さめのモデルに多くの文章を読ませる「過剰学習」も広がりました。どちらも、学習に使う文章の量を押し上げます。

メタの例では、2024年4月に公開したLlama 3を15兆トークン超の公開の文章で学習しました。データの量はLlama 2の7倍で、プログラムのコードは4倍です。英語以外の文章は5%超で、30を超える言語を含みます。

エポックAIの推計

人が書いた公開の文章の推計（エポックAI、2024年6月）

項目	推計
使える文章の量（質と重複を調整）	約300兆トークン
90%の信頼区間	100兆〜1000兆トークン
使い切る時期（80%の信頼区間）	2026〜2032年
5倍の過剰学習をした場合	2027年

エポックAIは、Llama 3の700億パラメータのモデルは、計算の効率が最もよい量の約10倍の文章で学習されたと見ています。100倍の過剰学習なら、2025年に使い切る計算になるとしています。

15兆トークンは、推計の300兆トークンの5%です（計算）。1つのモデルで5%を使う段階に来ています。

各社の対応

対応は3つの方向があります。1つ目は合成データです。AIで問題と答えを作り、学習に足します。2つ目は、今ある文章の選別です。メタは、Llama 2を使って文章の質を判定する仕組みの学習データを作り、Llama 3のデータの選別に使いました。3つ目は、学習ではなく推論の段階で計算を増やして性能を上げる方法です。

いずれも、計算機の使い道を変える動きです。文章が足りなければ、同じ文章から多くを引き出す計算や、文章を作る計算が増えます。

関連する用語

• 合成データ：AIなどで作った学習用のデータです。
• トークン：AIが文章を扱う単位です。英語では単語や単語の一部にあたります。
• テストタイム計算：答える段階で計算を増やして質を上げる方法です。