RAG（検索拡張生成）とは　2020年の論文はウィキペディアの索引と生成モデルを組み合わせた

RAG（Retrieval-Augmented Generation、検索拡張生成）は、AIの言語モデルが答える前に、関係する文書を検索して集め、その文書を手がかりに答えを書かせる仕組みです。企業の社内規程や製品の資料、最新のニュースなど、モデルが学習していない情報を答えに反映できます。

仕組み　探して、渡して、書かせる

まず、使いたい文書を小さな段落に分け、それぞれを意味の近さで比べられる数値の並び（ベクトル）に変えて、索引として保存します。質問が来た時は、質問も同じ形の数値に変え、意味の近い段落を索引から取り出す手順です。最後に、取り出した段落と質問を一緒に言語モデルに渡し、段落の内容に沿って答えを書かせます。

利点は2つです。1つは、文書を差し替えれば、モデルを学習し直さずに新しい情報を答えに使えることです。答えの根拠となった文書を示せる点も挙げられます。

もとになった論文

RAGという名前は、パトリック・ルイスら12人が2020年5月22日に公開し、同年の国際会議NeurIPSで採択された論文に由来します。論文は、事前学習した文章生成のモデルを「パラメータの記憶」、ウィキペディアを数値の索引にしたものを「パラメータでない記憶」と呼び、学習済みの検索の仕組みで2つをつなぎました。

論文によると、この方法は3つの開かれた質問応答の試験で、それまでの最高の成績を上回りました。文章の生成でも、検索を使わないモデルより具体的で、事実に沿った文章を書いたとしています。

ほかの方法との違い

モデルに新しい知識を使わせる主な方法

方法	やり方	向いている場面
RAG	検索した段落だけを渡す	文書が多く、よく更新される
長い文脈に入れる	文書をまとめてそのまま渡す	文書の量が文脈の上限に収まる
ファインチューニング	モデルを追加で学習させる	答え方や書式、専門の言い回しを覚えさせる

扱える文脈は長くなっています。グーグルの説明では、Gemini 4は入力・思考・出力の合計で104万8576トークンを扱えます。1トークンを約4文字とすると、英語でおよそ420万文字分です（計算）。それでも、社内の文書の全部を毎回入れると、トークンの料金と計算が増えます。検索で必要な部分だけを選ぶRAGは、費用を抑える方法として使われています。

関連する用語

• ベクトル検索：文章を数値の並びに変え、意味の近さで探す検索。
• 埋め込み（エンベディング）：文章を数値の並びに変えること、またはその数値。
• MCP：AIと外部のデータや道具をつなぐ公開の規格。Anthropicが2024年11月に公開しました。

論文はarXivで2021年4月12日に4版目に改訂されています。