学習（トレーニング）とは　メタのLlama 3.1 405Bは15兆トークンをGPU3084万時間で学んだ

AIの学習（トレーニング）は、モデルにデータを与えて、目的の答えを出せるように中身の数値を調整していく計算です。できあがったモデルを使って答えを出す「推論」に対して、モデルをつくる段階に当たります。

仕組み　ずれを測って少しずつ直す

言語モデルの事前学習では、文章の続きの単語を当てる問題を、膨大な数こなします。モデルが予測した単語と実際の単語のずれを数値で測り、そのずれが小さくなる方向に、すべてのパラメータを少しだけ動かします。どの数値をどちらに動かせばよいかは、出力側から入力側へ逆向きに計算して求めます（誤差逆伝播）。

この更新を、データを替えながら何度も繰り返します。計算の量は、モデルの大きさと読ませるデータの量の掛け算に比例して増える関係です。そのため大きなモデルの学習では、多数のGPUを高速の配線でつなぎ、長い期間動かし続けます。

事前学習の後には、人が書いた手本の答えで調整したり、人の評価を使って好ましい答えを強めたりする事後学習を行います。

公表された学習の規模

公開モデルの学習の規模（会社の公表値）

モデル	パラメータ	学習データ	GPU時間
Llama 3.1 8B（メタ）	80億	15兆トークン超	146万（H100）
Llama 3.1 70B（メタ）	700億	15兆トークン超	700万（H100）
Llama 3.1 405B（メタ）	4050億	15兆トークン超	3084万（H100）
DeepSeek-V3	6710億（1トークンあたり370億を使用）	14.8兆トークン	278万8000（H800）

メタのモデルカードによると、使ったGPUは1基あたり最大700ワットのH100（80GB）で、3つのモデルの合計は3930万GPU時間です。405Bの学習で出た温室効果ガスは、所在地の電力で計算して8930トン（CO2換算）でした。

学習専用の設備も大きくなっています。グーグルは2026年4月、学習用の「TPU 8t」は1つのスーパーポッドで9600個のチップをつなぎ、計算性能は121エクサFLOPSになると発表しました。故障などで止まらずに実際に計算に使える時間の割合を97%超にすることを目標にしています。

関連する用語

• 推論：学習を終えたモデルで答えを出す計算。
• パラメータ：学習で調整されるモデルの中の数値。
• ファインチューニング：学習済みのモデルを、少ないデータで特定の用途に合わせて追加の学習をすること。
• GPU時間：GPU1基を1時間使うと1GPU時間と数える、計算量の目安。

Llama 3.1の3つのモデルは2024年7月23日に公開され、いずれも128k（12万8000）トークンの文脈を扱えます。