評価ベンチマークとは　57科目のMMLUが満点近くになり、2500問の新しい試験へ

評価ベンチマークとは、AIモデルの能力を測るために、問題、正解、採点の方法をひとそろいにした試験のことです。同じ試験を受けさせれば、会社やモデルが違っても点数で比べられます。AIの会社は新しいモデルを出すたびに、主な試験の点数を並べて発表します。

試験の作りと寿命

試験は、問題を集め、正解を確定させ、採点を自動にするところまでを決めます。選択問題や短い答えの問題は、機械で採点できるため多く使われます。

弱点は寿命です。モデルの性能が上がると、上位のモデルの点数がそろって満点に近づき、差が見えなくなります。問題がネット上に出回り、学習データに混ざると、実力より高い点が出るおそれもあります。このため、出題を公開しない問題の束を別に持つ試験が増えています。

MMLUから次の試験へ

MMLUは2020年9月に公開されました。初等数学、米国史、計算機科学、法律など57科目の問題で、幅のある知識を問う試験として長く使われました。公開時、最大のGPT-3は、でたらめに答える場合より平均で約20ポイント高いだけでした。

Humanity's Last Exam（HLE）の論文は、上位のモデルがMMLUなどで9割を超える正答率を出し、最先端の能力を測りにくくなったことを作った理由に挙げています。HLEは数学、人文、自然科学など100を超える科目の2500問です。50か国、500を超える機関の約1000人の専門家が問題を出しました。出題していない問題を別に持ち、試験問題への過剰な適合を確かめるとしています。

点数の例

HLEの正答率（試験のサイトの掲載値、採点はo3-mini）

モデル	正答率	自信と正しさのずれ
Gemini 3 Pro	38.3%	57.2%
GPT-5	25.3%	50.0%
Grok 4	24.5%	56.4%
o1	8.0%	83.0%
GPT-4o	2.7%	89.0%

右の列は、モデルが示した自信の度合いと、実際の正しさのずれです。数字が大きいほど、間違っているのに自信を持って答えていることを示します。点数の表は試験のサイトの更新に合わせて変わります。

関連する用語

• 飽和：上位のモデルの点数が満点に近づき、試験で差がつかなくなることです。
• 汚染（コンタミネーション）：試験の問題や答えが学習データに入り込むことです。
• ハルシネーション：事実でない内容をもっともらしく答える現象で、HLEの右の列と関わります。

HLEの論文は2025年1月に公開され、2026年10月19日に第12版に改訂されました。