GPUの稼働率とは　メタは1万6千基の学習で54日に419回の想定外の停止

GPUの稼働率とは、用意したGPUのうち、実際に役に立つ計算をしている割合のことです。時間で見る場合と、能力で見る場合があります。1基数万ドルのGPUを何万基も並べる学習では、稼働率の数ポイントの差が、そのまま費用の差になります。

何が稼働率を下げるか

大きな学習では、何万基ものGPUが1つの仕事を分け合います。1基が止まると、全体を止めて、保存した途中の状態（チェックポイント）から再開します。台数が増えるほど、どこかが壊れる回数も増えます。

止まっていなくても、GPUが他のGPUからのデータを待つ時間は、計算をしていない時間です。ネットワークの設計や、ソフトの調整の出来がここに出ます。

メタが公表した停止の内訳

メタは2024年7月の論文で、Llama 3 405Bの学習の記録を公開しました。GPUは1基700ワットのH100で、最大1万6千基を使いました。54日間の中断は466回で、計画した停止が47回、想定外が419回です。

Llama 3の学習中の想定外の停止の主な原因（54日間）

原因	比率
GPUの故障	30.1%
GPUのHBM3メモリ	17.2%
ソフトの不具合	12.9%
ネットワークのスイッチ・ケーブル	8.4%
サーバーの保守	7.6%

メタによると、想定外の停止の約78%は、ハードウェアの問題か、その疑いのあるものでした。自動で直す仕組みを入れ、学習に有効だった時間は90%を超えました。データセンター全体の電力が数十メガワットの幅で揺れることも、運用の課題に挙げています。

クラスターの調整

メタは2024年3月、H100を2万4576基ずつ並べたクラスターを2つ作ったと発表しました。片方はイーサネット系のRoCE、もう片方はエヌビディアのInfiniBandでつないでいます。小さなクラスターでは調整なしで通信の帯域と利用率が90%を超えましたが、大きなクラスターでは最初は10%〜90%にばらつきました。ソフトとネットワークを調整した後は、90%台に戻ったとしています。メタは2024年末までにH100を35万基持つ計画も示しました。

関連する用語

• MFU：GPUの理論上の計算能力のうち、モデルの計算に使えた割合です。稼働率よりも細かい指標です。
• チェックポイント：学習の途中の状態の保存です。停止からの戻りの速さを決めます。
• スループット：一定時間に処理できる量です。

Llama 3 405Bは15.6兆トークンの文章で学習しました。