ラック単位のシステムとは　GB200 NVL72はGPU72基、HBMは合計13.4TBで水冷

ラック単位のシステムとは、データセンターに置く棚（ラック）1本を単位に、GPU、CPU、配線、スイッチ、電源、冷却の部品をまとめて設計した製品のことです。英語では「rack-scale system」と呼びます。

1台ずつ売る形から何が変わったか

これまでのGPUサーバーは、GPU8基を積んだ箱を1台ずつ購入し、データセンター側でラックに並べてネットワークでつなぎました。GPU同士の専用の配線（NVLink）は、箱1台の中で閉じていました。

ラック単位のシステムでは、NVLinkの配線をラックの背面まで延ばし、ラック全体の72基のGPUを1つの組にします。GPUを載せた計算の板と、NVLinkのスイッチを載せた板を同じラックに差し込み、銅のケーブルの束で結ぶ構造です。ラックの中で配線を済ませるため、光の部品を使わずに済み、電力と費用を抑えられます。

GB200 NVL72の中身

エヌビディアGB200 NVL72の主な数字（同社の製品ページから）

項目	ラック1本	Superchip 1個
構成	Grace CPU 36基、Blackwell GPU 72基	CPU 1基、GPU 2基
GPUのメモリ（HBM3E）	13.4TB	372GB
GPUのメモリの帯域	毎秒576TB	毎秒16TB
NVLinkの帯域	毎秒130TB	毎秒3.6TB
FP4の計算（密）	720ペタフロップス	20ペタフロップス
CPUのコア（Arm）	2,592	72

エヌビディアは、H100と比べて、1兆パラメータ級のモデルのリアルタイムの応答が30倍、学習が4倍速くなると説明しています。学習の比べ方は、GB200 NVL72を456本使った場合と、H100のサーバー（HGX）を4,096台使った場合の比較です。同じ電力あたりの性能は、空気で冷やすH100の設備の25倍だとしています。

作る会社と買う会社の変化

ラック単位になると、組み立ての仕事が重くなります。台湾の鴻海、クアンタ、ウィストロンなどの受託製造は、ラック1本ずつ、冷却の配管までつないだ状態に組み上げてから納める形になりました。データセンターの側は、ラック1本あたりの重さと電力、冷却水の配管に合わせて、床や電気の設備を作り直す必要があります。

AMDも、自社のGPUとCPUとネットワークをラック1本にまとめた「Helios」を発表し、同じ土俵で競う形をとりました。

関連する用語

• Superchip：エヌビディアのCPU1基とGPU2基を1枚の板にまとめた部品。
• NVLinkスイッチの板：ラックの中で72基のGPUをつなぐスイッチを載せた板。
• CDU（冷却水分配装置）：ラックに冷たい液体を配り、温まった液体を回収する装置。
• スケールアップ：専用の配線でGPUの1つの組を大きくすること。

次の世代のVera Rubin NVL72では、NVLinkの総帯域が毎秒216テラバイトになるとエヌビディアは示しています。