スケールアップとスケールアウトとは NVLinkは72基、UALinkは最大1,024基、イーサネットは12万基超
AIの計算機の広げ方には、GPUの組を大きくするスケールアップと、組の数を増やすスケールアウトがあります。エヌビディアのNVLinkは72基を1組にまとめ、業界団体のUALinkは最大1,024基をつなぐ仕様を決めました。
- スケールアップは、GPU同士を専用の配線で直接つなぎ、1つの大きなGPUのように使える組を大きくすることです。
- スケールアウトは、その組をネットワークでたくさんつなぎ、全体の台数を増やすことです。
- エヌビディアのNVLinkは72基、業界団体のUALinkは仕様上1,024基までを1組にします。
- スケールアウトはInfiniBandかイーサネットで組みます。ブロードコムのスイッチは2段で12万8000基をつなぐとしています。
スケールアップとスケールアウトは、計算機の規模を大きくする2つの方向を指す言葉です。スケールアップは「1つの組を大きくする」、スケールアウトは「組の数を増やす」ことを意味します。AIのデータセンターでは、この2つで使う配線と半導体が分かれています。
2つの層の違い
大きなAIモデルは、1基のGPUのメモリに入りません。モデルを細かく分けて複数のGPUに置き、計算のたびに途中の結果を交換します。交換が頻繁な部分は、速くて遅延の小さい専用の配線でつないだGPUの組の中で処理します。これがスケールアップの層です。
組の中で収まらない分は、同じ計算を別の組に並べて走らせ、ときどき結果を合わせます。こちらは交換の回数が少ないため、ネットワークでつないでも間に合います。これがスケールアウトの層です。
| 項目 | スケールアップ | スケールアウト |
|---|---|---|
| 主な規格 | NVLink、UALink | InfiniBand、イーサネット |
| つなぐ範囲 | ラック1本前後 | 建物全体、複数の建物 |
| つなぐ数の例 | NVL72で72基 | スイッチ2段で最大12万8000基 |
| 1基あたりの速さの例 | NVLink第5世代で毎秒1.8TB | ネットワークカードで最大毎秒1.6テラビット |
1基あたりの速さを比べると、スケールアップの線はスケールアウトの約9倍(計算、1.8TB=14.4テラビットとして)です。
スケールアップの陣取り
エヌビディアは、NVLinkで組を広げてきました。Hopperの世代では1組8基でしたが、BlackwellのNVL72では72基になり、9倍になりました。
これに対し、業界団体のUALink Consortiumは2025年4月8日、共通の規格「UALink 200G 1.0」を公開しました。1本の線あたり200ギガで、最大1,024基のAIチップを1つの組にできる仕様です。会員は85社を超え、理事会にはアリババ、AMD、アップル、アステラ・ラボ、AWS、シスコ、グーグル、HPE、インテル、メタ、マイクロソフト、シノプシスが入っています。
ブロードコムは、イーサネットのスイッチをスケールアップにも使う道を示しています。同社のTomahawk 6は、スイッチ1個で最大512基のAIチップを直接つなげるとしています。
スケールアウトの側
組と組をつなぐ網では、エヌビディアのInfiniBandと、各社のイーサネットが競います。エヌビディアのInfiniBandのスイッチQuantum-X800は、毎秒800ギガビットのポートが144個です。イーサネットでは、ブロードコムのTomahawk 6が1個で毎秒102.4テラビットを処理し、スイッチ2段で最大12万8000基をつなぐとしています。
関連する用語
- NVLink:エヌビディアのスケールアップの配線。
- UALink:AMD、インテルなどが参加する、スケールアップの共通規格。
- スケールアクロス:複数のデータセンターの建物を、長距離の網で1つの計算機としてつなぐこと。
- ラック単位のシステム:スケールアップの組をラック1本に収めた製品。
UALinkの仕様は、団体のウェブサイトから誰でも入手できます。
この記事は公開資料をもとに作成しています。売買をすすめるものではありません。誤りを見つけたら訂正します(編集方針)。
関連する記事
NVLinkとは GPU1基あたり毎秒1.8TB、72基を1つの計算機のようにつなぐ
NVLinkは、エヌビディアのGPU同士を直接つなぐ専用の配線の規格です。第5世代ではGPU1基あたり毎秒1.8テラバイトで、72基を1つの組にまとめます。
AI向けイーサネットとは スイッチ1個で毎秒102.4テラビット、2段で12万8000基をつなぐ
AI向けのイーサネットは、標準のネットワーク規格をGPUの大規模な計算に合わせて改良したものです。ブロードコムのスイッチのチップTomahawk 6は、1個で毎秒102.4テラビットを処理します。
ラック単位のシステムとは GB200 NVL72はGPU72基、HBMは合計13.4TBで水冷
ラック単位のシステムは、GPUや配線や冷却をラック1本分まとめた1つの製品です。エヌビディアのGB200 NVL72は、GPU72基とCPU36基を水で冷やす設計で、GPUのメモリは合計13.4テラバイトです。
建設のリードタイムとは TSMC熊本は着工から開所まで約1年10か月、アリゾナは発表から量産まで約4年半
建設のリードタイムとは、工場やデータセンターの着工から稼働までにかかる時間です。TSMCの熊本の第1工場は2022年4月に着工し、2024年2月に開所式を開きました。