GPUサーバーとは DGX B200はGPU8基・メモリ1440GB、消費電力は最大約14.3kW
GPUサーバーは、GPUを複数積んでAIの計算に使うサーバーです。エヌビディアのDGX B200はGPU8基で、消費電力は最大約14.3キロワットです。
- GPUサーバーは、GPUを4〜8基積み、CPU、メモリ、ネットワークの部品と組み合わせた計算機です。
- エヌビディアのDGX B200は、GPU8基でGPUのメモリが合計1,440GB、高さはラックの10段分です。
- 最大の消費電力は約14.3キロワットです。4台並べると約57キロワット(計算)になります。
- 米スーパーマイクロの7〜9月期の売上は199億ドルで、前年同期の50億ドルから約4倍になりました。
GPUサーバーとは、AIの計算に使うGPUを1台に複数積んだサーバーです。データセンターのラックに収め、何百台、何千台とネットワークでつないで、AIモデルの学習や推論に使います。
1台の中身
普通のサーバーは、CPUが計算の主役です。GPUサーバーでは、CPUは仕事の割り振りやデータの読み込みを受け持ち、行列の計算はGPUが受け持ちます。GPU同士は、GPU専用の高速な配線(エヌビディアではNVLink)で直接つながります。
エヌビディアが自社で売るDGX B200の仕様は次のとおりです。
| 項目 | 仕様 |
|---|---|
| GPU | Blackwell GPU 8基 |
| GPUのメモリ(HBM3e) | 合計1,440GB、毎秒64TB |
| GPU同士をつなぐNVLinkの帯域 | 合計毎秒14.4TB |
| CPU | インテルXeon Platinum 8570 2基(計112コア) |
| 外とつなぐネットワーク | ConnectX-7 8ポート(各毎秒400ギガビット)、BlueField-3 2基 |
| 計算の速さ(FP4、密) | 72ペタフロップス |
| 最大の消費電力 | 約14.3kW |
| 大きさ | ラック10段分(高さ444mm、奥行き897.1mm) |
GPU1基あたりのメモリは180GB(計算)です。外とつなぐポートは、GPU1基につき1つずつ用意されています。サーバー同士をつないで、GPUが数千基の1つの計算機として動かすためです。
誰が作って誰が買うか
エヌビディアは、GPUとその基板(HGX)をサーバーの会社に納め、サーバーの会社が箱に組み上げます。米国ではスーパーマイクロ、デル、HPEがサーバーを組んで納める主な会社です。台湾の鴻海、クアンタ、ウィストロン、ウィウィンは、クラウドの大手から直接注文を受けて組み立てます。
スーパーマイクロは11月3日、7〜9月期の売上が199億ドルだったと発表しました。前年同期は50億ドルで、約4倍(計算)です。2027年6月期の通期の売上の予想は720億〜820億ドルに上げました。売上総利益率は12.7%で、GPUの仕入れが原価の大半を占める事業の形がこの数字に出ています。
電力と冷やし方
1台で約14.3キロワットを使うGPUサーバーを4台並べると、約57キロワット(計算)になります。サーバーを置くラック1本あたりの電力が増え、建物の電源と冷却の設備を作り直す例が出ています。GPUをさらに詰めたラック単位の製品では、空気で冷やしきれず、水などの液体で冷やす方式が主流になりました。
関連する用語
- HGX:エヌビディアが提供する、GPU8基とNVLinkを載せた基板。各社のサーバーの土台になる。
- NVLink:GPU同士を直接つなぐエヌビディアの配線の規格。
- ラック単位のシステム:GPUサーバーをラック1本分まとめて1つの製品にしたもの(GB200 NVL72など)。
- 液冷:冷たい液体を流してチップの熱を運ぶ冷やし方。
スーパーマイクロは10〜12月期の売上を195億〜215億ドルと見込んでいます。
この記事は公開資料をもとに作成しています。売買をすすめるものではありません。誤りを見つけたら訂正します(編集方針)。
関連する記事
NVLinkとは GPU1基あたり毎秒1.8TB、72基を1つの計算機のようにつなぐ
NVLinkは、エヌビディアのGPU同士を直接つなぐ専用の配線の規格です。第5世代ではGPU1基あたり毎秒1.8テラバイトで、72基を1つの組にまとめます。
ラック単位のシステムとは GB200 NVL72はGPU72基、HBMは合計13.4TBで水冷
ラック単位のシステムは、GPUや配線や冷却をラック1本分まとめた1つの製品です。エヌビディアのGB200 NVL72は、GPU72基とCPU36基を水で冷やす設計で、GPUのメモリは合計13.4テラバイトです。
液冷とは GPUの上に冷却板を当てる方式が主流、マイクロソフトはチップの中に水路
液冷は、チップの熱を液体で運び出す冷やし方です。マイクロソフトは、チップの裏に溝を彫って液体を流す方式が、冷却板より最大3倍よく熱を取り除いたと発表しました。
建設のリードタイムとは TSMC熊本は着工から開所まで約1年10か月、アリゾナは発表から量産まで約4年半
建設のリードタイムとは、工場やデータセンターの着工から稼働までにかかる時間です。TSMCの熊本の第1工場は2022年4月に着工し、2024年2月に開所式を開きました。