MoE（専門家混合）とは　DeepSeek-V3は6710億のうち1トークンに370億だけを使う

MoE（Mixture of Experts、専門家混合）は、AIのモデルの中に、専門家（エキスパート）と呼ぶ小さなネットワークを多数並べておき、入力ごとにその一部だけを動かす設計です。全部の数値を毎回使う「密な」モデルに対して、「疎な」モデルとも呼ばれます。

仕組み　ルーターが専門家を選ぶ

言語モデルの各層には、計算の中心となる部分（フィードフォワード層）があります。MoEでは、この部分が複数の専門家に分かれた形です。トークンが層に入るたびに、ルーターが各専門家の向き不向きを点数にし、点数の高い少数の専門家だけに計算を任せます。残りの専門家は、そのトークンの計算には使われません。

考え方の出発点としてよく挙げられるのが、グーグルの研究者らが2017年1月に公開した論文です。最大で数千の専門家を並べた層を提案し、モデルの容量を1000倍超に増やしながら計算の効率をあまり落とさずに済むとしました。最大1370億パラメータのモデルを試しています。

公表されたMoEのモデル

MoEのモデルの例（会社・論文の公表値）

モデル	公表	全体のパラメータ	1トークンで使う分	割合（計算）
Mixtral 8x7B（ミストラルAI）	2023年12月	467億	129億	27.6%
DeepSeek-V3	2024年12月	6710億	370億	5.5%

ミストラルAIは2023年12月11日、Mixtral 8x7Bを公開しました。各層に8つの専門家を置き、ルーターがトークンごとに2つを選びます。同社は、メタのLlama 2 70Bを多くの試験で上回り、推論は6倍速いと説明しています。

DeepSeek-V3は、14.8兆トークンで学習し、学習全体に使ったのはH800を延べ278万8000GPU時間だったと技術報告で公表しました。推論に強いDeepSeek-R1も同じ6710億・370億の構成です。

半導体への影響

MoEは1トークンあたりの計算を減らしますが、どの専門家がいつ選ばれるかは事前にわからないため、全部の専門家をメモリに置いておく必要があります。DeepSeek-V3の6710億のパラメータを8ビットで置くと約671GBで、1基のGPUには収まりません（計算）。専門家を多数のGPUに分けて置くと、トークンをその専門家のいるGPUへ送る通信が増えます。大容量のHBMと、GPUどうしを結ぶ高速の配線の需要につながる設計です。

関連する用語

• パラメータ数：モデルの中の数値の個数。MoEでは全体の数と使う数の2つで示します。
• ルーター（ゲート）：トークンごとに使う専門家を選ぶ仕組み。
• 密なモデル：毎回すべてのパラメータを使って計算するモデル。

DeepSeek-R1は12万8000トークンの文脈を扱えるとしています。