ディープラーニングとGPU　2012年のAlexNetはGTX 580を2基、学習に5〜6日

ディープラーニングは、何層にも重ねた計算の網（ニューラルネットワーク）に大量のデータを読ませて、規則を自分で見つけさせるAIの手法です。中身の多くは、行列のかけ算と足し算の繰り返しです。この計算は、多数の小さな計算器を同時に動かすGPUの得意分野でした。両者を結びつけたのが、2012年のAlexNetです。

AlexNetの中身

トロント大学のアレックス・クリジェフスキー氏、イリヤ・サツケバー氏、ジェフリー・ヒントン氏の3人は、2012年の論文で画像を見分ける大きな畳み込みニューラルネットワークを発表しました。ImageNetの約120万枚の高解像度の画像を、1000の分類に分けるように学ばせています。

AlexNetの論文の数字（2012年）

項目	数字
学習に使った画像	約120万枚
分類の数	1,000
パラメータ	6000万
ニューロン	65万
GPU	GTX 580（3GB）を2基
学習の日数	5〜6日
ILSVRC-2012の上位5候補の誤り率	15.3%（2位は26.2%）

出典は論文「ImageNet Classification with Deep Convolutional Neural Networks」。

GPUのメモリーが大きさを決めた

論文は、ネットワークの大きさを決めたのは主に当時のGPUのメモリーの量と、許せる学習の時間だったと書いています。GTX 580は1基のメモリーが3GBしかなく、ネットワークが1基に収まりませんでした。そこで、ネットワークを半分ずつ2基のGPUに分け、特定の層でだけ2基の間でデータをやり取りする形にしました。

2基に分けた形は、1基で動かす小さな版より、上位1候補の誤り率を1.7ポイント、上位5候補の誤り率を1.2ポイント下げました。論文は、より速いGPUと大きなデータが出てくるのを待つだけで結果は良くなるとも書いています。

エヌビディアは、この2012年のAlexNetを、いまのAIの出発点と位置づけています。2016年には、GPUを8基積んだAI用のコンピューター「DGX-1」の初号機をOpenAIに寄贈しました。

12年後の学習の規模

メタが2024年7月23日に公開したLlama 3.1のモデルの説明書によると、最も大きい405Bの学習には、エヌビディアのH100（メモリー80GB）で3084万GPU時間がかかりました。8B、70B、405Bの3つを合わせると3930万GPU時間です。学習に使ったデータは約15兆トークンでした。

AlexNetの学習は、GPU2基で5〜6日なので、240〜288GPU時間です（計算）。Llama 3.1 405Bの3084万GPU時間は、その約10万7000〜12万8500倍にあたります（計算）。GPU1基あたりの性能も大きく上がっているため、計算の量の差はこれよりさらに大きくなります。

こうした学習の需要が、データセンター向けのGPUの売上を押し上げました。エヌビディアの2026年5〜7月期のデータセンターの売上高は890億ドルで、前年同期から117%増えています。