生成AIの歴史　2017年にTransformer、2020年にGPT-3の1750億パラメータ

生成AIは、文章や画像、音声などを新しくつくり出すAIです。いまの文章の生成AIの多くは、大量の文章を読ませて、次に来る言葉を当てるように学ばせた「大規模言語モデル」です。その歴史は、2012年の画像認識のAlexNetで始まったディープラーニングの流れの上にあります。

2017年のTransformer

2017年6月12日、グーグルの研究者らが論文「Attention Is All You Need」を投稿しました。文の中のどの言葉とどの言葉が関係するかを測る「アテンション」の仕組みだけで、翻訳などをこなすTransformerという構造を提案しています。それまで主流だった、言葉を1つずつ順に処理する仕組みを使いません。このため、GPUで多くの計算を同時に進めやすくなりました。

論文の試験では、英語からドイツ語への翻訳でBLEUという点数が28.4、英語からフランス語で41.8でした。フランス語の方は、8基のGPUで3.5日学ばせた結果です。

モデルの大型化

生成AIの主な節目

年月	出来事	数字
2012年	AlexNetが画像認識のコンテストで勝つ	GPU2基で5〜6日の学習
2017年6月	Transformerの論文	GPU8基で3.5日の学習
2020年5月	GPT-3の論文	パラメータ1750億
2022年11月	ChatGPTの公開	数か月で利用者1億人超
2024年7月	Llama 3.1の公開	最大4050億パラメータ、約15兆トークン

出典は各論文、エヌビディアの社内ブログ、メタのモデルの説明書。

2020年5月28日に投稿されたGPT-3の論文は、1750億のパラメータを持つ言語モデルを示しました。論文は、それまでの密なモデルの10倍の大きさだとしています。論文の題は「言語モデルは少数の例から学ぶ」で、少しの例を見せるだけで新しい課題をこなせることを示しました。

ChatGPTと計算の需要

2022年11月、OpenAIは対話型のChatGPTを公開しています。エヌビディアの社内ブログによると、ChatGPTは数か月で利用者が1億人を超えました。

大きなモデルの学習には、大量のGPUが要ります。メタが2024年7月23日に公開したLlama 3.1の説明書によると、最も大きい405Bの学習には、H100で3084万GPU時間を使いました。8B、70Bと合わせると3930万GPU時間です。学習に使ったデータは約15兆トークンでした。

この需要は、半導体の会社の売上に表れています。エヌビディアの2026年5〜7月期のデータセンターの売上高は890億ドルで、前年同期比117%増えました。同社は2026年8〜10月期の売上高を1080億ドル（上下2%）と見込んでいます。