2026年11月15日(日) 記事を探す決算カレンダー広告掲載このサイトについて
トップ › 仕組み
仕組み

テストタイム計算とは DeepSeek-R1は考える文章を長くして数学試験の正答率を79.8%に

テストタイム計算は、AIが答える段階で多くの計算を使い、正答率を上げる方法です。DeepSeek-R1は、米国の数学の試験AIME 2024で1回目の正答率79.8%を出しました。

ポイント
  • テストタイム計算は、学習が終わったモデルを使う段階(推論)で、計算を多く使って答えの質を上げる考え方です。
  • 考える過程の文章を長く書かせる方法と、答えの候補を複数作って選ぶ方法があります。
  • 中国のDeepSeekは2025年1月、強化学習で考える文章を長くし、AIME 2024の正答率が15.6%から71.0%に上がったと報告しました。
  • 考える文章は数百〜数千トークンになり、1つの質問に使うGPUの時間が増えます。

推論時の計算(テストタイム計算)とは、AIモデルが質問に答えるときに、すぐ答えず、多くの計算を使ってから答えを出す方法のことです。これまでAIの性能は、学習に使う計算とデータを増やして上げるのが中心でした。テストタイム計算は、使う段階の計算を増やす、もう1つの道です。

2つのやり方

1つ目は、考える過程を文章として書かせる方法です。モデルは答えの前に、途中の式や検討を内部で書き出します。間違いに気づけば、書きながら直します。書く文章が長いほど、計算も多くなります。

2つ目は、同じ質問に答えの候補を何本も作り、多数決や別の採点用のモデルで選ぶ方法です。候補の数を増やすほど、正しい答えが含まれる確率が上がります。

2024年8月に公開された論文は、質問の難しさに応じて計算の配り方を変えると、候補を一律にN本作る方法より4倍以上効率がよいと報告しました。計算量をそろえた比べ方では、14倍大きいモデルを上回る場面があったとしています。

DeepSeek-R1の数字

DeepSeekは2025年1月公開の論文で、強化学習だけで考える力を伸ばしたモデルR1-Zeroと、それを改良したR1を示しました。

DeepSeekの論文が示した数学の試験の正答率
モデル・条件AIME 2024MATH-500
R1-Zero 強化学習の前15.6%-
R1-Zero 強化学習の後71.0%-
R1-Zero 多数決86.7%-
R179.8%97.3%
OpenAI o1(2024年12月版)79.2%96.4%

論文は、学習が進むにつれて、R1-Zeroが考える時間を自分で延ばしていったと書いています。考える文章は、数百から数千トークンに及ぶとしています。

半導体の需要との関係

考える文章も、答えと同じように1トークンずつGPUで生成します。質問1件あたりのトークンが数倍になれば、同じ利用者数でも推論に使うGPUの時間は数倍になります。業界の性能試験MLPerfは2025年、推論型のDeepSeek-R1を試験に加えました。対話向けの区分では、1トークンごとの間隔を15ミリ秒以内とする厳しい条件を置いています。

関連する用語

  • 強化学習:答えの正しさに応じて報酬を与え、モデルを改良する学習の方法です。
  • 推論のレイテンシ:考える文章が長いほど、答えが出るまでの時間も延びます。
  • 長い文脈:考える文章もモデルが読む文脈に入るため、メモリを使います。

この記事は公開資料をもとに作成しています。売買をすすめるものではありません。誤りを見つけたら訂正します(編集方針)。

関連する記事