ハルシネーションとは　オープンAIの事実確認の試験でGPT-4oの誤答は60.8%

ハルシネーション（幻覚）とは、AIの言語モデルが、事実と違う内容や存在しない情報を、あたかも正しいかのように出力する現象のことです。人の名前、日付、論文の題名、数字のように、確かめられる細かい事実で起きやすいとされます。企業がAIを業務に入れるときの最大の悩みの1つです。

なぜ起きるか

言語モデルは、大量の文章から、次に来る語の確率を学びます。何度も出てくる事柄は正しく覚えますが、一度しか出てこないような細かい事柄は、確率の計算だけでは当てられません。それでも、モデルは何かしらの文章を出します。

2025年9月に公開されたカライ氏らの論文は、もう1つの原因を挙げました。多くの試験は正解なら1点、間違いでも「分かりません」でも0点で採点します。この採点では、分からない時に推測した方が平均の点は高くなります。論文は、学習と評価の仕組みが、不確かさを認めることより推測を報いていると指摘しました。対策として、広く使われている試験の採点の方法を変えることを提案しています。

測り方と数字

SimpleQAは、オープンAIが2024年に公開した事実確認の試験です。作業者が質問と答えを作り、別の作業者が独立に答えて、2人の答えが一致したものだけを残しました。採点は「正答」「答えなかった」「誤答」の3つに分けます。

SimpleQAの結果（%）

モデル	正答	答えず	誤答
GPT-4o	38.2	1.0	60.8
GPT-4o-mini	8.6	0.9	90.5
o1-preview	42.7	9.2	48.1
Claude-3-opus	23.5	39.6	36.9
Claude-3-haiku	5.1	75.3	19.6

正答の率だけを見るとGPT-4oが上ですが、誤答の率はClaude-3-haikuの約3倍です（計算）。小さいモデルほど覚えている事実が少なく、答えを控えないモデルでは、それがそのまま誤答になります。

減らす方法

会社の対策は主に3つです。1つ目は、検索で集めた資料を読ませてから答えさせる方法です。2つ目は、自信がない時に答えを控えるよう学習させることです。3つ目は、答えの根拠となる出典を示させ、人が確かめられるようにする方法です。いずれも、推論の計算や検索の回数を増やすため、1件あたりの計算機の負担は増えます。

関連する用語

• 評価ベンチマーク：決まった問題でAIを採点する試験です。採点の方法がハルシネーションの起きやすさに影響します。
• 検索拡張生成（RAG）：外部の資料を検索して読ませてから答えさせる方法です。
• AIの安全性評価：誤った情報の出力も、評価の対象の1つです。