ファインチューニングとは　LoRAは学習させる数値を1万分の1、GPUメモリを3分の1に

ファインチューニング（微調整）は、大量の文章で事前学習を終えたAIモデルを出発点にして、特定の目的のデータで追加の学習をする手法です。社内の文書の書き方に合わせる、決まった書式で答えさせる、専門分野の用語に慣れさせる、といった用途に使います。

仕組み　学習済みの数値を少し動かす

事前学習は、モデルのパラメータを一から決めていく大きな計算です。ファインチューニングでは、すでに決まったパラメータを出発点にして、目的のデータで答えのずれが減るように、数値を少しだけ動かします。基礎の力はそのままに、振る舞いを目的に寄せる考え方です。

やり方は大きく2つあります。すべてのパラメータを動かす「全体のファインチューニング」と、一部だけを動かす方法です。後者の代表がLoRA（Low-Rank Adaptation）です。マイクロソフトの研究者らが2021年6月に公開した論文によると、元のパラメータを固定し、各層に小さな行列を足して、その行列だけを学習させます。

論文で示された効果

ファインチューニングの主な論文の結果

論文	公開	報告された結果
LoRA（Hu ほか）	2021年6月	GPT-3 175Bの全体調整と比べ、学習させる数値を1万分の1、GPUメモリを3分の1に
InstructGPT（Ouyang ほか）	2022年3月	13億パラメータの調整済みモデルが、100倍大きい1750億のGPT-3より人の評価で好まれた

InstructGPTの論文は、2段階の調整を示しました。まず、評価者が書いた手本の答えでGPT-3を教師ありで調整します。次に、モデルの複数の答えを評価者が順位づけし、その順位をもとに強化学習でさらに調整します。この人の評価を使う手法の呼び名がRLHFです。

モデルの公開と計算の量

ファインチューニングをするには、モデルの数値そのものを手元に持つか、提供する会社の調整の窓口を使う必要があります。メタは2024年7月に、数値を公開したLlama 3.1を80億、700億、4050億の3つの大きさで出しました。中国のDeepSeekは、自社の推論モデルDeepSeek-R1が生成した答えの例で、公開されているQwenやLlamaのモデルを調整した15億から700億パラメータの6つのモデルを公開しています。

計算の量は事前学習よりずっと小さく済みます。Llama 3.1 405Bの事前学習にはH100で延べ3084万GPU時間がかかりました。LoRAのように一部だけを学習させれば、必要なGPUのメモリも減ります。

関連する用語

• 事前学習：大量の文章で、モデルの基礎の力をつける最初の学習。
• RLHF：人の評価を使って好ましい答えを強める強化学習。
• 蒸留：大きなモデルの答えを使って小さなモデルを学習させる手法。
• RAG：モデルの数値を変えずに、検索した文書を渡して答えさせる仕組み。

Llama 3.1の3つのモデルは、いずれも128k（12万8000）トークンの文脈を扱えます。