Gemini 3.8 Live のデベロッパー ガイド

Gemini 3.8 Live は、低レイテンシの双方向音声 / 動画インタラクションと対面式の Live Avatar 合成用に構築されたリアルタイム会話モデルです。継続的な会話ワークフロー向けに設計された 3.8 Live は、デフォルトで有効になっている感情的な会話、プロアクティブな音声フィルタリング、自動キャンセル ブロックツール、動的な多言語切り替えを提供します。

このドキュメントでは、次のトピックについて説明します。

  • Gemini モデル ファミリーにおける 3.8 Live の位置づけ。
  • 3.8 Live の主な機能。
  • Google Gen AI SDK との統合。
  • 必要な API ルールと規則。
  • 以前の Gemini Live API モデルからの移行。

Gemini ファミリーにおける役割

3.8 Live は、リアルタイム ストリーミング インタラクション用に設計されています。双方向 WebSocket で動作し、音声、ライブカメラ フィード、画面ブロードキャストを 1 秒未満のレイテンシで処理しながら、24 kHz の音声と同期された 24 FPS の動画アバターを生成します。

モデルの仕様と比較

次の表は、3.8 Live と以前の Gemini Live API モデルの仕様を比較したものです。

属性 Gemini 3.8 Live Gemini 2.5 Flash Live API ネイティブ音声(GA ベースライン)
モデル ID gemini-3.8-live gemini-live-2.5-flash-native-audio
リリース ステージ 一般提供(GA) 一般提供(GA)
入力モダリティ 音声(16 kHz PCM)、動画(1 FPS JPEG)、テキスト 音声(16 kHz PCM)、動画(1 FPS JPEG)、テキスト
出力モダリティ 音声(24 kHz PCM)、動画(24 FPS MP4 ライブアバター)、テキスト 音声(24 kHz PCM)、テキスト
ライブアバター合成 24 FPS 同期動画出力 サポート対象外
アフェクティブ ダイアログ デフォルトで有効 明示的な構成が必要
プロアクティブ音声 デフォルトで有効 明示的な構成が必要
関数呼び出しの実行 非同期ノンブロッキングと自動キャンセル ブロッキング(behavior="BLOCKING") 非同期と同期
割り込みの処理 丁寧な割り込みのダウングレード(ユーザーが話している間は待機) 即時中断(ユーザーの音声と重複可能)
言語サポート サポートされている言語間での動的なミッドストリーム切り替え サポートされている言語
ドメイン バイアス AudioTranscriptionConfig で custom_vocabulary をサポート 標準ベースライン音声文字変換
ビジュアル トークン コントロール media_resolution(LOW、MEDIUM、HIGH)を構成可能 フレームあたりのトークン予算を固定

Gemini 3.8 Live の用途

3.8 Live は、次のような場合に使用します。

  • 会話のレイテンシが低く、自然なターンテーキング、ユーザーが割り込んだ(バージイン)場合の迅速な復旧が必要です。
  • アプリが外部ツールを呼び出し、バックエンド システムがリクエストを処理している間も音声出力が継続されるように、非ブロッキング実行が必要である。
  • 外部レンダリング パイプラインを使用せずに、24 FPS で顔のアニメーションとリップシンクを同期させた、話すデジタル アバターをレンダリングしたい。
  • ユーザーが複数の言語で会話するため、会話の途中で言語を検出して、サポートされている言語に切り替える必要があります。
  • 技術用語、SKU、ブランド名に分野固有の語彙バイアスが必要な場合。

仕様と割り当て上限の詳細については、3.8 Live モデルのページをご覧ください。

Gemini 3.8 Live の主な機能

3.8 Live では、次の機能が導入されています。

  • 24 FPS のライブアバター動画合成: 3.8 Live は、モデル出力から直接、同期された 24 FPS の MP4 動画ストリーム(response_modalities=["VIDEO"])を生成します。生成された表情と唇の動きは、合成された音声とリアルタイムで一致します。

    ビルド済みのストック アバターを使用するか、カスタム参照画像を提供して、デジタル コンシェルジュ、カスタマー サービス エージェント、仮想チューター、インタラクティブ キャラクターを構築できます。設定の詳細については、ライブアバターを構成するをご覧ください。

  • デフォルトで有効になっているアフェクティブ ダイアログとプロアクティブ音声:

    • アフェクティブ ダイアログ: 3.8 Live でデフォルトで有効になっています。このモデルは、ユーザーの音声入力の音響韻律、音声キュー、一時停止、音声の抑揚を処理して、音声のトーンと会話のペースを調整します。
    • プロアクティブ音声: 3.8 Live ではデフォルトで有効になっています。モデルは周囲のノイズとバックグラウンドの音声をフィルタリングし、ユーザーから話しかけられた場合にのみ音声レスポンスを生成します。
  • 非同期および自動キャンセル ブロッキング関数呼び出し: 3.8 Live には、リアルタイム音声用に設計されたツール呼び出し動作が用意されています。

    • 非ブロッキング非同期実行: モデルがツール呼び出しを生成すると、音声セッションはアクティブなままになります。これにより、エージェントは会話の確認(「アカウントの詳細を取得します...」)をストリーミングし、クライアント アプリがバックエンド API を呼び出している間にフォローアップ入力を処理できます。
    • ブロッキング呼び出しの自動キャンセル(behavior="BLOCKING"): 関数宣言で behavior="BLOCKING" が設定されている場合、ツールのレスポンスが届くまで生成が一時停止します。ブロッキング呼び出しの実行中に新しいユーザー入力が到着すると、Gemini Live API サーバーは保留中の呼び出しをキャンセルします。
    • 丁寧な割り込み処理: 以前のモデルでは、ユーザーが話している間に scheduling="INTERRUPT" を含むツール レスポンスを返すと、ユーザーの音声と重なっていました。3.8 Live では、ユーザーの発話がアクティブな場合、サーバーはスケジュールを WHEN_IDLE にダウングレードし、ユーザーが発話を終えた後にレスポンスを再生します。
  • 動的な多言語切り替えとカスタム語彙:

    • 多言語サポート: 接続を再起動または再構成することなく、セッション中にサポートされている言語を検出して切り替えます。
    • カスタム語彙のバイアス: custom_vocabulary を使用して、AudioTranscriptionConfig(input_audio_transcription 経由)で分野固有のキーワード、固有名詞、医療用語、商品コードを受け入れ、音声文字変換の精度を向上させます。
  • media_resolution 制御によるマルチモーダル ビジュアル グラウンディング: リアルタイム動画ストリーム(1 FPS の JPEG フレーム、推奨解像度 768x768)を受け入れ、media_resolution(MEDIA_RESOLUTION_LOW、MEDIA_RESOLUTION_MEDIUM、MEDIA_RESOLUTION_HIGH)を構成して、フレームあたりのトークン使用量と視覚的な詳細のバランスを調整できます。

クイックスタート

始める前に、アプリケーションのデフォルト認証情報(ADC)を使用して Google Cloud に対する認証を行います。

次のコードサンプルで、PROJECT_ID を Google Cloud プロジェクト ID に置き換えます。

SDK をインストールする

Google Gen AI SDK と音声の依存関係をインストールまたは更新します。

pip install --upgrade google-genai websockets numpy

非同期ツール呼び出しを使用して双方向セッションを開始する

次の例では、gemini-3.8-live とのリアルタイム セッションを確立し、事前構築済みの音声(Aoede)を選択し、カスタム語彙のバイアスを構成して、非ブロッキングの非同期関数呼び出しを実行します。

import asyncio
from google import genai
from google.genai import types

PROJECT_ID = "PROJECT_ID"
LOCATION = "us-central1"
MODEL_ID = "gemini-3.8-live"

# Initialize the Gen AI client for enterprise.
client = genai.Client(enterprise=True, project=PROJECT_ID, location=LOCATION)

# Define a tool for asynchronous execution.
order_lookup_tool = types.FunctionDeclaration(
    name="lookup_order_status",
    description="Fetches real-time shipping status for a customer order ID.",
    parameters=types.Schema(
        type="OBJECT",
        properties={
            "order_id": types.Schema(
                type="STRING",
                description="The order ID, for example, ORD-8472",
            ),
        },
        required=["order_id"],
    ),
)

# Configure the live connection.
config = types.LiveConnectConfig(
    response_modalities=["AUDIO"],
    system_instruction=types.Content(
        parts=[
            types.Part.from_text(
                text=(
                    "You are an enterprise concierge. When you call a tool, "
                    "briefly acknowledge the request and tell the user what you're doing. "
                    "If a tool returns no results, inform the user before trying again. "
                    "Never issue more than two consecutive tool calls without speaking."
                )
            )
        ]
    ),
    speech_config=types.SpeechConfig(
        voice_config=types.VoiceConfig(
            prebuilt_voice_config=types.PrebuiltVoiceConfig(voice_name="Aoede")
        ),
    ),
    input_audio_transcription=types.AudioTranscriptionConfig(
        custom_vocabulary=["ORD-8472", "Gemini Live", "Express Shipping"]
    ),
    output_audio_transcription=types.AudioTranscriptionConfig(),
    tools=[types.Tool(function_declarations=[order_lookup_tool])],
)

async def handle_tool_call(session, function_call):
    """Executes backend calls asynchronously without blocking incoming audio."""
    order_id = function_call.args.get("order_id", "")
    await asyncio.sleep(2.0)  # Simulate backend API latency.

    if not order_id.startswith("ORD-"):
        result = {
            "status": "invalid_argument",
            "retryable": False,
            "message": f"Order ID '{order_id}' is invalid. Ask the user to verify.",
        }
    else:
        result = {
            "status": "ok",
            "retryable": False,
            "order_id": order_id,
            "shipping_status": "Out for delivery by 4:00 PM",
        }

    # Send tool response matching the call ID.
    await session.send_tool_response(
        function_responses=[
            types.FunctionResponse(
                id=function_call.id,
                name=function_call.name,
                response=result,
            )
        ]
    )

async def main():
    async with client.aio.live.connect(model=MODEL_ID, config=config) as session:
        print(f"Connected to {MODEL_ID}")

        # Send initial text or stream 16 kHz PCM audio chunks.
        await session.send_realtime_input(
            text="Hi! Can you check the status of order ORD-8472?"
        )

        async for message in session.receive():
            # Handle asynchronous tool calls.
            if message.tool_call:
                for call in message.tool_call.function_calls:
                    asyncio.create_task(handle_tool_call(session, call))

            # Process audio output chunks and transcriptions.
            if message.server_content:
                if (
                    message.server_content.output_transcription
                    and message.server_content.output_transcription.text
                ):
                    print(
                        f"Agent: {message.server_content.output_transcription.text}",
                        end="",
                        flush=True,
                    )

if __name__ == "__main__":
    asyncio.run(main())

必要な API ルールと規則

3.8 Live でビルドする場合は、次の API 規則に従ってください。

  • 有益な関数レスポンス: ツールハンドラから空の辞書({})または None を返さないでください。ツールがエラーまたは空のペイロードを返すと、レスポンスにステータス フィールドが含まれていない限り、3.8 Live は引数を変更して関数呼び出しを繰り返す可能性があります。すべてのツール レスポンスで構造化フィールドを返します。
    • status: 機械で読み取り可能なステータス文字列("ok"、"no_results"、"invalid_argument" など)。
    • retryable: 呼び出しを繰り返しても同じ結果が返される場合は、false に設定します。
    • message または guidance: ユーザーに報告するステータスを指定するテキスト。
  • プロンプトレベルのツール再試行上限: system_instruction に再試行上限を含めます。例: 「ツール呼び出しで結果が返されない場合は、パラメータのバリエーションで繰り返し検索するのではなく、ユーザーに通知してください。ユーザーに話しかけずに、ツール呼び出しを 3 回以上連続して実行しないでください。
  • 厳密な FunctionResponse 一致:
    • すべての FunctionResponse ターンは、前の FunctionCall から正確な id を提供する必要があります。
    • レスポンス オブジェクトを FunctionResponse.response に直接渡します。
  • ストリーミング音声形式:
    • 入力音声: 16 kHz、16 ビット、リトル エンディアン、モノラル PCM(audio/pcm;rate=16000)。20 ミリ秒~ 100 ミリ秒のチャンクでストリーミングされます。
    • 出力音声: 24 kHz モノラル PCM。
  • 以前のパラメータを削除: 構成で enable_affective_dialog または proactivity を渡さないでください。これらの機能は、3.8 Live でデフォルトで有効になっています。
  • 会話履歴のシード: send_client_content を使用してマルチターン履歴をシードする場合は、クライアント アプリが setup_complete サーバー フレームを受信するまで待ってから、HistoryConfig(initial_history_in_client_content=True) を構成します。

Gemini 3.8 Live に移行する

gemini-live-2.5-flash-native-audio から gemini-3.8-live への移行の詳細については、Gemini 2.5 Flash Live API ネイティブ音声から Gemini 3.8 Live に移行するをご覧ください。

デベロッパー チェックリスト

アプリをデプロイする前に、次の項目を確認してください。

参考情報

詳しくは、次のリソースをご覧ください。