チェックポイントとは　故障に備えた学習の途中保存、Llama 3は1日平均7.8回止まった

大きな言語モデルの学習は、数千〜数万基のGPUで数か月続きます。途中で1基でも壊れると、全体の計算が止まることがあります。最初からやり直していては、いつまでも終わりません。そこで、一定の間隔で学習の途中の状態を保存しておき、止まったら直前の保存の時点から再開します。この保存がチェックポイントです。

何を、どのくらいの間隔で

保存するのは、モデルの重み、最適化の計算が使う値、何番目のデータまで学習したかなどの情報です。重み1個あたり十数バイトになることもあり、大きなモデルではテラバイトの単位になります。

保存の間隔にはかね合いがあります。頻繁に保存すれば、止まった時に失う計算は少なくて済みます。ただ、保存の間はGPUが学習を止めて待つことが多く、その時間がむだになります。保存の時間を短くし、頻度を上げる工夫が続けられています。

Llama 3の54日間

メタが2024年7月に公表したLlama 3の論文は、1万6千基のH100を使った学習の中断の記録を載せています。54日間に計466回止まりました。47回はファームウェアの更新などの計画した作業で、419回が想定外でした。1日あたり約7.8回の想定外の中断です（計算）。

想定外の中断の主な原因（メタのLlama 3の論文の表から）

原因	分類	比率
GPUの故障	GPU	30.1%
GPUのHBM3メモリ	GPU	17.2%
ソフトの不具合	依存するソフト	12.9%
ネットワークのスイッチ・ケーブル	ネットワーク	8.4%
サーバーの計画外の保守	保守	7.6%
GPUのSRAMメモリ	GPU	4.5%

GPUに関わる原因は合わせて58.7%で、ハードの問題（疑いを含む）は約78%でした。それでも、人の手で大きく対応したのは期間中3回だけで、残りは自動で処理しました。学習に実際に使えた時間の比率は90%を超えたといいます。メタは、学習の開始と保存にかかる時間を短くしたことを、その理由の一つに挙げています。

記憶装置への負担

チェックポイントは、記憶装置にとって厳しい仕事です。全GPUが一斉に保存を始めるため、短い時間に書き込みが集中します。メタの論文によると、保存の量はGPU1基あたり1MB〜4GBでした。学習に使った記憶装置は、自社の分散ファイルシステム「Tectonic」で作り、SSDを積んだ7,500台のサーバーで240ペタバイトの容量を持ちます。書き込みの速さは、持続して毎秒2テラバイト、最大で毎秒7テラバイトです。それでも保存の瞬間には帯域が埋まると論文は記しています。

全GPUが保存のために一斉に計算を止めると、データセンターの電力の使用量も数十メガワットの単位で急に変わります。

関連する用語

• 実効の学習時間：経過した時間のうち、実際に学習が進んでいた時間の比率。
• 活性化チェックポイント：名前は似ているが別物。途中の計算結果を捨てて計算し直し、メモリを節約する方法。
• フライトレコーダー：通信が止まった時の各GPUの状態を記録するPyTorchの機能。

2026年10月28日のPyTorch 2.15版では、集団通信が止まった時にこの記録を自動で書き出す仕組みが標準になりました。