対象読者
- Gemini Live API が何者なのか気になっている人
- 音声AI・AIエージェント・マルチモーダルAIに興味がある人
- AIアバターや音声接客、ゲームNPCなどを作ってみたい人
- 通常の Gemini API と Live API の使い分けを知りたい人
TL;DR
- Gemini Live API は、音声・画像・テキストを継続的に送りながらGeminiとリアルタイムに双方向通信するAPI
- 通常の「STT → LLM → TTS」を個別に組み合わせる構成より、自然な音声対話をシンプルに実現しやすい
- 音声だけでなくカメラからの視覚情報も扱えるため、**「見ながら会話するAI」**を作れる
- VADによる割り込みや、Function Callingによる外部システム操作も可能
- 一方で、セッション管理、映像入力、同時接続数、モデルごとの機能差など、Live APIならではの考慮事項もある
- 個人的には、Live APIは「音声版Gemini」というより、AIエージェントに耳・目・口を与えるインターフェースとして考えると面白い
はじめに：Google Cloud Next Tokyoで「AIとの会話」を見て気になった
2026年7月に開催された Google Cloud Next Tokyo に参加してきました。
会場のExpoでは、AIエージェントやGeminiを活用したさまざまなデモが展示されており、音声でAIとリアルタイムにやり取りする体験も数多く見られました。
Google Cloud公式でも、Next Tokyo 2026のExpoについて、
- Gemini Liveを使って音声で事例を検索するAIエージェント
- カメラ前の動きをリアルタイムに分析するAI
- 最新のAgentic AIを体験できる展示
などが紹介されています。
実際にこうした展示を見ると、
「最近のリアルタイムAIって、裏側ではどうなっているんだろう？」
というのが気になってきます。
特に気になったのが Gemini Live API です。
名前だけを見ると、
Geminiを音声で使えるAPI？
くらいに見えるのですが、調べてみるとそれだけではありませんでした。
今回は、Gemini Live APIについて、
- そもそもどういう仕組みなのか
- 普通のGemini APIと何が違うのか
- 何ができるのか
- どんな制限があるのか
- AIエージェントやアバターとどう組み合わせられるのか
あたりを整理してみます。
1. Gemini Live APIとは？
一言で言うなら、
Geminiとリアルタイムに音声・映像・テキストでやり取りするためのAPI
です。
通常のGemini APIは、大まかには次のような使い方になります。
ユーザー
│
│ リクエスト
▼
Gemini
│
│ レスポンス
▼
ユーザー
例えば、
「今日のおすすめ教えて」
↓
Gemini
↓
「今日は○○がおすすめです」
という1往復です。
もちろんストリーミングレスポンスを使うことはできますが、基本的には、
入力を渡す → モデルが処理する → 出力を受け取る
という考え方です。
一方、Live APIでは Stateful WebSocket を利用して接続を維持します。
┌──────────────┐
│ Browser / App │
└──────┬───────┘
│
│ 音声
│ 画像
│ テキスト
│
│ WebSocket
▼
┌─────────────────┐
│ Gemini Live API │
│ │
│ ・音声理解 │
│ ・画像理解 │
│ ・会話状態保持 │
│ ・応答生成 │
│ ・音声生成 │
└──────┬──────────┘
│
│ 音声ストリーム
▼
ユーザー
つまり、
会話している間、Geminiと継続的につながっている
というのが大きな特徴です。
2. 「音声チャット」と何が違うのか
音声AIを作ろうとすると、従来は次のような構成を考えることが多かったと思います。
人間
↓
音声
↓
Speech-to-Text
↓
テキスト
↓
LLM
↓
テキスト
↓
Text-to-Speech
↓
音声
↓
人間
この方式でももちろん作れます。
ただし、
STTの処理
+
LLMの処理
+
TTSの処理
をそれぞれ行う必要があります。
さらに、
- ユーザーがまだ話しているのか
- 発話が終わったのか
- AIが話している途中でユーザーが割り込んだらどうするか
- 会話履歴をどう管理するか
- 音声とテキストをどう同期するか
などもアプリケーション側で考える必要があります。
Gemini Live APIでは、Native Audioモデルを使うことで、この流れをかなり一体化できます。
Gemini Live
┌─────────────────┐
ユーザー音声 → │ 音声理解 │
│ 文脈理解 │
│ 推論 │
│ 応答生成 │
│ 音声生成 │
└────────┬────────┘
│
▼
AI音声
つまり、
音声を一度テキストに変換してからLLMに渡す
という発想から少し変わってきています。
3. AIが話している途中でも割り込める
個人的にLive APIらしさを感じるのが、VAD（Voice Activity Detection）です。
例えばAIが、
AI：
「おすすめの商品は、チーズバーガーと……」
人：
「いや、辛いやつがいい」
と話している途中にユーザーが割り込んだ場合。
Live APIは新しい発話を検出し、進行中の生成を中断できます。
AI
「おすすめの商品は──」
人間
「いや辛いやつがいい」
│
▼
VADで検出
│
▼
現在の生成を中断
│
▼
新しい発話として処理
│
▼
AI
「ではスパイシー系なら……」
これが結構重要です。
通常の音声UIだと、
AIが話し終わるまで待つ
という操作になりがちですが、人間同士の会話では普通に途中で、
「あ、それじゃなくて」
と入ります。
Live APIでは、このような**Barge-in（割り込み）**を含めた対話を作りやすくなっています。
4. AIはこちらを見ることもできる
Live APIは音声だけではありません。
画像などの視覚情報も継続的に渡せます。
例えばスマートフォンのカメラを使って、
Camera
│
▼
Gemini Live
ユーザー：
「この中で初心者向けなのどれ？」
│
▼
Gemini：
「右側にある青いパッケージの商品が
初心者向けだと思います」
という体験も作れます。
他にも、
料理を映す
↓
「もう焼けてる？」
ホワイトボードを映す
↓
「この設計どう思う？」
機械を映す
↓
「どこがおかしそう？」
PC画面を映す
↓
「このエラー何？」
といった使い方が考えられます。
これは単なるVoice Botとの大きな違いです。
5. ただし「動画解析AI」とは少し違う
ここは注意したいところです。
Live APIへ映像を渡せるからといって、
60fps映像
↓
全フレームをGeminiが解析
↓
高速な物体追跡
のような用途を想定するものではありません。
どちらかというと、
現実世界の状態
↓
画像として取り込む
↓
会話コンテキストに追加
↓
Geminiと相談
という使い方です。
なので、
「動画処理AI」ではなく、「視覚を持った会話AI」
と考えるとイメージしやすいと思います。
例えば、
| 用途 | Live APIとの相性 |
|---|---|
| 商品を見ながら相談 | ◎ |
| 書類を見る | ◎ |
| ホワイトボードを見る | ◎ |
| 料理を見ながら相談 | ◎ |
| PC操作支援 | ○ |
| 現場作業支援 | ○ |
| 高速スポーツ解析 | △ |
| 精密なモーショントラッキング | × |
くらいのイメージです。
6. Function Callingも使える
そして、ここから一気にAIエージェントっぽくなります。
Gemini Live APIでも Function Calling が利用できます。
例えば飲食店なら、
ユーザー
「辛くなくて軽めのやつある？」
↓
Gemini Live
↓
searchMenu(
spicy=false,
volume="light"
)
↓
商品API
↓
Gemini
「それならチキンサンドがおすすめです」
さらに、
ユーザー
「じゃあそれください」
↓
Gemini Live
↓
createOrder(
item="chicken_sandwich",
quantity=1
)
↓
注文システム
というところまで進められます。
ここで重要なのは、
会話した結果、実際のシステム処理まで実行できる
ということです。
7. Live API = AIエージェント、ではない
ここは整理しておきたいところです。
Gemini Live APIそのものを、
何でもやってくれるAIエージェント
と考えるより、
人間とAIエージェントをリアルタイムにつなぐインターフェース
として考えると分かりやすいです。
役割を言い換えると、
Gemini Live
│
├─ 耳
├─ 目
└─ 口
AI Agent
│
├─ RAG
├─ DB
├─ API
├─ MCP
└─ 業務システム
というイメージです。
個人的には、この捉え方が一番しっくりきました。
8. AIアバターともかなり相性が良さそう
ここまで来ると、当然作りたくなるのがAIキャラクターです。
例えば、
という構成です。
例えばFunction Callingや別の制御チャネルを利用して、
{
"expression": "happy"
}
や、
{
"animation": "wave"
}
といったイベントをアバター側へ渡せば、
話す
+
口を動かす
+
笑う
+
手を振る
+
商品をおすすめする
+
業務処理を実行する
というキャラクターを作ることもできます。
ここまで来ると、普通のチャットボットとはだいぶ違う世界です。
9. Gemini Live APIでできること
大きく整理すると、Live APIでは次のようなことができます。
| 機能 | 概要 |
|---|---|
| リアルタイム音声入力 | マイク音声を継続入力 |
| リアルタイム音声応答 | Geminiから音声をストリーミング |
| テキスト入力 | 音声以外の情報も入力可能 |
| 視覚情報入力 | カメラや画面の情報を会話に利用 |
| VAD | ユーザーの発話開始・終了を検知 |
| 割り込み | AIの発話途中でもユーザーが割り込める |
| Function Calling | 外部API・業務システムとの連携 |
| 入力文字起こし | ユーザー音声をテキスト化 |
| 出力文字起こし | AI音声を字幕などに利用 |
| 多言語対話 | 複数言語でのリアルタイム会話 |
| Thinking | 対応モデルで推論量を調整 |
| Proactive Audio | 対応モデルで発話すべき状況を判断 |
| Affective Dialogue | 対応モデルで声のニュアンスを考慮 |
ただし、これらの機能はすべてのLiveモデルで共通ではありません。
10. モデルによって使える機能が違う
Live APIを使う際に注意したいのが、
新しいモデル = 全機能の上位互換ではない
という点です。
例えば、
- 低遅延性を重視するモデル
- Proactive Audioに対応するモデル
- Affective Dialogueに対応するモデル
- Thinkingを細かく調整できるモデル
などがあります。
つまり、
とにかく低遅延に会話したい
↓
低遅延向けLiveモデル
常時起動するAIにしたい
↓
Proactive Audio対応モデル
感情表現を重視したい
↓
Affective Dialogue対応モデル
のように、ユースケースからモデルを選ぶ必要があります。
この辺は普通のLLM選定以上に、
体験設計とモデル選択が密接
だと感じました。
11. Proactive Audioが結構面白い
対応モデルでは Proactive Audio という機能があります。
通常のVoice Botだと、
音が聞こえた
↓
ユーザーが話した
↓
何か返事をする
となりがちです。
でも、例えば店舗や家庭では、
Aさん：
「今日どこ行く？」
Bさん：
「ラーメン食べたい」
AI：
「おすすめのラーメン店はこちらです！」
Aさん：
「君には話してない」
では困ります。
Proactive Audioでは、
この発話にAIが反応する必要があるのか？
も判断できます。
周囲の会話
↓
Gemini
↓
自分への発話ではない
↓
反応しない
という動作です。
常時稼働する、
- AI店員
- AI受付
- 車載AI
- スマートグラス
- バーチャルキャラクター
では、かなり重要になりそうです。
12. Affective Dialogue
対応モデルでは Affective Dialogue もあります。
ユーザーの声の調子などに応じて、応答のスタイルを変えられる機能です。
例えば、
ユーザー：
「やった！合格した！」
AI：
「おお！おめでとう！」
と、
ユーザー：
「ちょっと失敗しちゃって……」
AI：
「そうだったんですね。
状況を一緒に確認してみましょうか」
のように、単に発話内容だけではなく、
声を含めた会話体験
を作れるわけです。
AIアバターやゲームNPCでは、かなり面白い要素だと思います。
13. 長時間接続ではセッション管理が必要
Live APIはWebSocketベースだからといって、
1本の接続をずっと張りっぱなし
にする前提ではありません。
長時間利用では、
- Session Resumption
- Context Window Compression
などを利用してセッションを管理します。
概念的には、
Connection A
│
▼
Session Resumption
│
▼
Connection B
│
▼
Session Resumption
│
▼
Connection C
というイメージです。
つまり、通常のAPIとは違い、
接続そのもののライフサイクル管理
もアプリケーション設計に入ってきます。
14. 会話履歴も無限ではない
リアルタイム会話では当然ながら、時間が経つほどコンテキストが増えていきます。
Turn 1
■■
Turn 2
■■■■
Turn 3
■■■■■■
Turn 4
■■■■■■■■
そのため長時間セッションではContext Window Compressionなどを使って、
古い会話
■■■■■■■■■■■■
↓
要約 / 圧縮
↓
■■■■
+
最近の会話
■■■■■■
という管理をします。
これはコスト面でも重要です。
Live APIは「リアルタイムだから安い」というものではなく、長時間利用すると、
- 音声入力
- 音声出力
- 視覚情報
- 会話履歴
- Transcript
などが積み重なります。
なので、
何をリアルタイムにモデルへ渡し続けるのか
の設計が重要です。
15. クライアントから直接接続する構成もある
Live APIでは大きく、
Server-to-Server
と、
Client-to-Server
という構成があります。
リアルタイム音声では、
Client
↓
Backend
↓
Gemini
↓
Backend
↓
Client
より、
Client
↕
Gemini
の方が通信経路を短くできます。
レイテンシが体験に直結するため、この差は意外と重要です。
16. ただしブラウザにAPIキーは置かない
Client-to-Serverだからといって、
const API_KEY = "AIza...";
のようにAPIキーをブラウザへ置くのはNGです。
この用途向けに Ephemeral Token が提供されています。
つまり、
認証情報の発行だけBackendに任せて、リアルタイム通信はClientとGeminiで直接行う
という構成も取れます。
これは音声・映像系のシステムではかなり使いやすそうです。
17. AI Agentと組み合わせるなら
例えば業務システム向けなら、こんな構成が考えられます。
ユーザーからすると、
AIに話しかける
↓
AIが理解する
↓
必要な情報を調べる
↓
システムを操作する
↓
AIが返事する
だけです。
裏側では複数のシステムが動いていても、
UIとしては「会話」だけ
にできます。
18. 活用① AI店員・受付
分かりやすい活用先です。
例えば、
客：
「ちょっとお腹空いたけど、
重いものはいらないんだよね」
AI：
「軽めでしたら○○がおすすめです。
辛いものは大丈夫ですか？」
客：
「辛いのは苦手」
AI：
「では△△はいかがでしょう？」
客：
「じゃあそれで」
↓
注文API
従来の、
カテゴリ選択
↓
商品選択
↓
オプション選択
↓
確定
とはかなり違うUXです。
19. 活用② ゲームNPC
これもかなり相性が良さそうです。
プレイヤー：
「この洞窟危ない？」
NPC：
「この辺りでは最近、
北側でモンスターを見たという話があるな」
プレイヤー：
「一緒に来てよ」
NPC：
「仕方ないな」
↓
party_join()
さらにゲーム画面やゲーム状態を渡せれば、
NPC：
「おい！後ろから敵が来てるぞ！」
のようなことも可能になります。
決められた選択肢から選ぶNPCではなく、
ゲーム世界を認識しながら自由に会話するNPC
です。
20. 活用③ 現場作業支援
スマートフォンやスマートグラスとの組み合わせも面白そうです。
作業者
│
├─ カメラ
└─ マイク
│
▼
Gemini Live
│
├─ マニュアル
├─ RAG
├─ 設備情報
└─ 作業履歴
例えば、
作業者：
「次どれ外せばいい？」
AI：
「画面中央の青いコネクタです」
作業者：
「これ？」
AI：
「はい、それです」
という使い方です。
これはテキストチャットでは成立しづらい領域です。
21. 活用④ リアルタイム翻訳
リアルタイム音声対話なので、通訳用途とも相性があります。
日本語
↓
Gemini Live
↓
英語音声
そして相手の発話を、
英語
↓
Gemini Live
↓
日本語音声
へ変換する。
字幕を表示するだけではなく、
会話そのものを翻訳
する方向です。
22. 活用⑤ AIアバター
個人的にはかなり面白い組み合わせです。
人間から見ると、
キャラクターを見る
↓
話しかける
↓
キャラクターがこちらを理解する
↓
必要ならシステムを操作する
↓
返事をする
だけになります。
ここまで行くと、
AIを「操作する」
という感覚から、
AIキャラクターに「お願いする」
というUXへかなり近づきます。
23. 最初に試すなら段階的に
いきなりAIアバターまで作ると結構大変なので、個人的には次の順番が良さそうです。
Step 1：音声会話
Browser
│
Microphone
│
▼
Gemini Live
│
Audio
▼
Speaker
まず普通に話してみる。
Step 2：Function Calling
Gemini Live
│
└── get_weather()
など簡単なFunctionを追加。
Step 3：カメラ
Camera
│
▼
Gemini Live
「今何が見える？」を試す。
Step 4：アバター
Gemini Live
│
├─ Audio
│
└─ Expression / Motion
│
▼
Avatar
Step 5：AI Agent化
Gemini Live
│
AI Agent
│
┌────────┼────────┐
▼ ▼ ▼
RAG API MCP
ここまで来れば、かなりいろいろ作れそうです。
24. Google ADKとの組み合わせ
Gemini Live APIは、Googleの Agent Development Kit（ADK） と組み合わせてStreaming Agentを構築することもできます。
例えば、
Frontend
│
│ 音声 / 視覚情報
▼
Gemini Live
│
▼
ADK Agent
│
├─ Tool
├─ Search
├─ RAG
├─ API
└─ 他Agent
といった構成です。
Live API単体を考えるより、
Live API + Agent
で考えた方が、実際の業務利用はイメージしやすいと思います。
25. Gemini APIとVertex AI
Google Cloudで使う場合はVertex AIも選択肢になります。
Gemini Live APIは、Gemini 2.5 Flash Native Audioモデルを利用する構成について、**2025年12月にVertex AIで一般提供（GA）**されています。
一方で、Live API周辺ではPreviewのモデルや新機能も継続的に追加されています。
そのため、
最新機能をまず試す
↓
Gemini API / Google AI Studio
Google Cloud上で業務利用する
↓
Vertex AI
という切り分けを検討できます。
ただし、
Live APIがGA
と、
利用したい特定のLiveモデルがGA
は必ずしも同じではありません。
実装時にはモデル単位でステータスを確認した方がよさそうです。
26. 普通のGemini APIとどう使い分ける？
最終的にはここが一番重要です。
Live APIを使う価値が高いのは、
リアルタイム性
+
音声
+
割り込み
+
視覚情報
のうち複数が重要なケースだと思います。
| ユースケース | Live API |
|---|---|
| AI店員 | ◎ |
| 音声受付 | ◎ |
| AIアバター | ◎ |
| ゲームNPC | ◎ |
| スマートグラス | ◎ |
| リアルタイム通訳 | ◎ |
| 現場作業支援 | ◎ |
| 車載AI | ◎ |
| FAQチャット | △ |
| 社内RAG | △ |
| 文書要約 | × |
| コード生成 | × |
| バッチ処理 | × |
例えば社内文書検索で、
「○○の規程教えて」
と聞くだけなら、通常のGemini API + RAGで十分です。
一方、
現場をカメラで映しながら
「これで合ってる？」
↓
途中で質問を割り込ませる
↓
必要なら業務APIも操作する
となると、Live APIの強みがかなり出てきます。
27. 調べてみて感じたこと
最初は、
Geminiを音声で使えるAPI
くらいに考えていました。
ただ、調べてみると、
聞く
+
見る
+
考える
+
話す
+
割り込まれる
+
外部システムを操作する
までが一続きになっています。
なので、個人的にはLive APIを、
Voice Chat API
というより、
AIをリアルタイム世界につなぐインターフェース
として考える方が面白いと思いました。
28. 個人的に試してみたい構成
最終的にはこんな構成を試してみたいです。
人間から見ると、
AIを見る
↓
AIに話しかける
↓
AIがこちらを見る
↓
AIが考える
↓
AIが必要なシステムを操作する
↓
AIが返事する
だけです。
裏側ではかなりいろいろ動いていますが、
利用者側のUIは「話すだけ」
にできます。
これはかなり大きな変化だと思います。
まとめ
Gemini Live APIについて調べてみると、単なる音声版Geminiではなく、
Real-time
+
Audio
+
Vision
+
Reasoning
+
Function Calling
を組み合わせるための仕組みでした。
特に面白いと感じたのは、
- Native Audioによるリアルタイム音声対話
- VADによる自然な割り込み
- 視覚情報を共有しながら会話できること
- Function Callingによる業務システム連携
- AI Agentとの組み合わせ
- AIアバターとの相性
あたりです。
一方で、
- WebSocketベースの接続管理
- 長時間利用時のセッション管理
- コンテキスト管理
- リアルタイム音声・映像によるコスト
- 同時接続数
- モデルごとの機能差
- Previewモデルの仕様変更
など、普通のGemini APIとは違った設計ポイントもあります。
そのため、
「Geminiを使うからLive APIにする」
ではなく、
「人間とAIがリアルタイムに同じ状況を共有する必要があるか？」
で採用を判断するのが良さそうです。
Google Cloud Next TokyoでリアルタイムAIの展示を見て気になって調べ始めましたが、思っていた以上に応用範囲の広いAPIでした。
チャット画面に文字を入力してAIを使うだけではなく、
「AIに話しかけること自体がUIになる」
世界がかなり現実的になってきた感じがします。
次は実際に、
Gemini Live APIでリアルタイム音声対話を動かしてみる
ところまで試してみたいと思います。
参考
- Google Cloud Next Tokyo 2026 開催案内
- Google Cloud Next Tokyo 2026 Expo紹介
- Gemini Live API
- Gemini Live API Capabilities
- Gemini Live API on Vertex AI
- Gemini Live API が Vertex AI で一般提供開始
※ 本記事の仕様・提供状況は2026年8月時点の公開情報をもとにしています。Live API周辺はモデルや機能の更新が速いため、実装時には最新の公式ドキュメントをご確認ください。