マルチモーダルとは　Geminiでは音声1秒が32トークン、画像1枚が258トークン

マルチモーダル（multimodal）は、AIのモデルが、文章、画像、音声、動画、プログラムのコードなど、複数の種類の情報を扱えることを指します。写真を見せて説明させる、会議の録音から要点をまとめる、動画の内容について質問する、といった使い方ができます。

仕組み　すべてをトークンに直す

言語モデルは、文章をトークンという単位に区切り、数値の並びにして計算します。マルチモーダルのモデルは、画像を小さな区画に分け、音声を短い時間ごとに区切って、それぞれを同じ形の数値の並びに変える仕組みです。こうして文章と画像と音声を1つの並びにまとめ、同じモデルの中で計算します。

グーグルの開発者向けの資料では、Geminiでの数え方は次のとおりです。

Geminiでの入力ごとのトークンの数え方（グーグルの資料）

入力	トークン
文章	約4文字で1トークン
画像（縦横とも384ピクセル以下）	258トークン
大きな画像	768×768ピクセルの区画ごとに258トークン
音声	1秒あたり32トークン

この数え方では、1時間の音声は11万5200トークンになります（計算）。Gemini 4は入力・思考・出力の合計で104万8576トークンを扱えるため、音声だけなら約9時間分を一度に入れられる計算です。

Geminiの例

グーグルは2023年12月6日、Gemini 1.0を発表した際、文章、コード、音声、画像、動画を扱えるよう「最初からマルチモーダルとして作った」と説明しました。大きさの違うUltra、Pro、Nanoの3種類をそろえ、Nanoは端末の上で動かす用途です。最上位のUltraは、広く使われる32の試験のうち30で、それまでの最高の成績を上回ったとしています。

2026年10月28日の決算発表では、アルファベットはGeminiのアプリの利用者が10億人に達したと明らかにしました。

半導体の需要との関係

画像や音声、動画を入れると、その分のトークンが入力に加わります。1時間の音声で11万トークンを超える計算で、推論の計算と、途中の結果を置くメモリの量を押し上げます。米マイクロン・テクノロジーは9月30日、モデルのパラメータの増加、文脈の長さの拡大、同時に処理する数の増加が、AIの処理に必要なメモリと記憶装置の量を増やし続けていると説明しました。

関連する用語

• トークン：AIが情報を扱う単位。画像や音声もトークンで数えます。
• コンテキストウィンドウ：一度に扱えるトークン数の上限。
• 大規模言語モデル（LLM）：文章を中心に学んだ大きなモデル。マルチモーダルのモデルの土台です。

グーグルは11月12日に「Gemini 4 Hydrogen」を公表し、100万トークンの文脈のどこまで使っても同じ料金としています。