Live-Avatare konfigurieren

In diesem Dokument wird beschrieben, wie Sie Live-Avatare in der Gemini Live API konfigurieren. Mit Live-Avataren können Sie Echtzeitvideos von einem sprechenden Avatar generieren, der mit synthetisierten Sprachantworten des gemini-3.8-live-Modells synchronisiert wird. Sie können aus einer Vielzahl von integrierten Avataren auswählen und sie sowohl in der Google Cloud Konsole als auch in der Gemini Live API mit unterstützten vordefinierten Stimmen kombinieren.

Live-Avatare in der Google Cloud Console konfigurieren

Gehen Sie dazu so vor:

  1. Rufen Sie in der Google Cloud Console die Seite Agent Platform > Studio > Stream realtime auf.

    In Echtzeit streamen

  2. Klicken Sie auf  Modell wechseln.

  3. Wählen Sie in der Liste der Modelle gemini-3.8-live aus.

  4. Wählen Sie im Hauptbereich Live-Avatar aus.

  5. Wählen Sie in der Liste Avatar einen Avatar aus.

  6. Wählen Sie in der Liste Stimme eine Stimme aus.

  7. Optional: Fügen Sie Systemanweisungen hinzu, um das Verhalten und die Ausgabe zu steuern.

  8. Optional: Aktivieren Sie die Kameraeingabe, um Videos mit der Gemini Live API zu teilen.

  9. Klicken Sie im Hauptbereich auf Sitzung starten.

Live-Avatare mit der API konfigurieren

Gehen Sie dazu so vor:

  1. Legen Sie "response_modalities": ["VIDEO"] in generation_config fest.

  2. Geben Sie im avatar_config-Objekt den Namen des vorgefertigten Avatars an.

  3. Geben Sie im speech_config-Objekt die voreingestellte Stimme an.

WebSocket-Konfiguration

WebSocket-Verbindungen werden mit einem Standard-WebSocket-Handshake hergestellt. Der Endpunkt ist regional und verwendet OAuth 2.0-Inhabertokens für die Authentifizierung. Das Authentifizierungstoken wird in der Regel in WebSocket-Headern wie Authorization: Bearer [TOKEN] übergeben.

Hier sehen Sie eine Beispielkonfiguration für WebSocket:

import asyncio
import json
import websockets

# Replace PROJECT_ID and LOCATION with your Project ID and location.
PROJECT_ID = "PROJECT_ID"
LOCATION = "LOCATION"

# Authentication
token_list = !gcloud auth application-default print-access-token
ACCESS_TOKEN = token_list[0]

# Configuration
MODEL_ID = "gemini-3.8-live"
MODEL = f"projects/{PROJECT_ID}/locations/{LOCATION}/publishers/google/models/{MODEL_ID}"

config = {
    "response_modalities": ["VIDEO"],
    "speech_config": {
        "voice_config": {
            "prebuilt_voice_config": {
                "voice_name": "Puck",
            }
        }
    },
}

avatar_config = {
    "avatar_name": "Ben",
}

# Construct the WSS URL
HOST = f"{LOCATION}-aiplatform.googleapis.com"
URI = f"wss://{HOST}/ws/google.cloud.aiplatform.v1.LlmBidiService/BidiGenerateContent"

async def main():
    headers = {"Authorization": f"Bearer {ACCESS_TOKEN}"}

    async with websockets.connect(URI, additional_headers=headers) as ws:
        print("Session established.")

        # Send Setup (Handshake)
        await ws.send(json.dumps({
            "setup": {
                "model": MODEL,
                "generation_config": config,
                "avatar_config": avatar_config,
            }
        }))
        # Send and receive audio/video streams...

if __name__ == "__main__":
    asyncio.run(main())

Python SDK-Konfiguration

Das folgende Beispiel zeigt, wie Sie Live-Avatare mit dem Google Gen AI SDK konfigurieren:

from google import genai
from google.genai import types

client = genai.Client()

config = types.LiveConnectConfig(
    response_modalities=["VIDEO"],
    speech_config=types.SpeechConfig(
        voice_config=types.VoiceConfig(
            prebuilt_voice_config=types.PrebuiltVoiceConfig(
                voice_name="Puck",
            )
        )
    ),
    avatar_config=types.AvatarConfig(
        avatar_name="Ben",
    ),
    system_instruction=types.Content(
        parts=[types.Part.from_text(text="You are a helpful customer service assistant.")]
    ),
)

async with client.aio.live.connect(model="gemini-3.8-live", config=config) as session:
    # Interact with the live session...
    pass

Benutzerdefinierten Avatar verwenden

Anstatt einen vorgefertigten Avatar auszuwählen, können Sie ein Referenzbild eines Gesichts bereitstellen. Die Gemini Live API generiert dann das Avatar-Video auf Grundlage dieses Bildes. Benutzerdefinierte Avatare werden pro Sitzung im Feld customized_avatar von avatar_config konfiguriert.

Anforderungen an Referenzbilder

Das Referenzbild muss die folgenden Spezifikationen erfüllen:

  • Bildformat: PNG wird empfohlen. PNG verwendet verlustfreie Komprimierung und die Alphatransparenz verhindert, dass im hellen und dunklen Modus ein sichtbarer Rahmen um den Avatar angezeigt wird.
  • Farbmodus: RGB.
  • Bildgröße: mindestens 704 × 1.280 Pixel (Hochformat), mindestens 1.280 × 704 Pixel (Querformat)
  • Auflösung: 720p oder höher.
  • Seitenverhältnis: Standardmäßig 9:16 (Hochformat) und 16:9 (Querformat).
  • Dateigröße: unter 5 MB
  • Qualität: Keine Unschärfe oder Komprimierungsartefakte.

Beachten Sie außerdem die folgenden Richtlinien zur Komposition, um optimale Ergebnisse zu erzielen:

  • Bildgestaltung:Verwenden Sie eine Aufnahme, bei der Kopf und Schultern mehr als 60% des Bildausschnitts einnehmen. Schneide den Unterkörper, die Arme, die Hände und alle gehaltenen Objekte wie Mikrofone oder Smartphones heraus.

  • Hintergrund:Verwenden Sie einen einfachen, übersichtlichen Hintergrund ohne andere Personen oder auffällige Objekte.

  • Perspektive:Richten Sie sich direkt auf die Kamera aus. Ihr Kopf sollte gerade sein und Ihre Augen sollten in das Objektiv blicken.

  • Gesichtsausdruck:Achten Sie auf einen neutralen, entspannten Gesichtsausdruck. Lächeln Sie nicht, kneifen Sie die Augen nicht zusammen und zeigen Sie nicht die Zähne.

  • Sicherheit:Verwenden Sie keine Bilder von Minderjährigen, Prominenten oder anstößige Inhalte.

Benutzerdefinierten Avatar in der Google Cloud Console konfigurieren

Gehen Sie dazu so vor:

  1. Rufen Sie in der Google Cloud Console die Seite Agent Platform > Studio > Stream realtime auf.

    In Echtzeit streamen

  2. Wählen Sie in der Liste der Modelle gemini-3.8-live aus.

  3. Klicken Sie im Hauptbereich auf Live-Avatar.

  4. Wählen Sie unter den Avatar-Optionen „Hochladen“ aus und laden Sie ein Avatarbild hoch.

  5. Klicken Sie auf Sitzung starten und dann auf Unterhaltung starten.

Benutzerdefinierten Avatar mit der API konfigurieren

Konfigurieren Sie den benutzerdefinierten Avatar in der ersten setup-Nutzlast, die Sie über die WebSocket-Verbindung senden:

import base64
import json
import websockets

# Load custom avatar image (PNG format, 704x1280 min)
with open("/path/to/your/sample_avatar.png", "rb") as f:
    avatar_b64 = base64.b64encode(f.read()).decode("utf-8")

GENERATION_CONFIG = {
    "response_modalities": ["VIDEO"],
}

# Setup avatar config with custom face image
AVATAR_CONFIG = {
    "customized_avatar": {
        "image_data": avatar_b64,
        "image_mime_type": "png",
    }
}

# Session setup message
SETUP_MESSAGE = {
    "setup": {
        "model": "gemini-3.8-live",
        "generation_config": GENERATION_CONFIG,
        "avatar_config": AVATAR_CONFIG,
        "system_instruction": {
            "parts": [{"text": "Your system instruction here"}]
        },
        "input_audio_transcription": {},
        "output_audio_transcription": {},
    }
}

Im vorherigen Beispiel werden die folgenden Felder verwendet:

Feldpfad Typ Beschreibung
generation_config.response_modalities list[string] Muss auf ["VIDEO"] festgelegt sein, um die Videoausgabe von Avataren zu aktivieren.
avatar_config.customized_avatar.image_data string Base64-codierter Bildstring.
avatar_config.customized_avatar.image_mime_type string MIME-Format für Bilder ("png").

Sie können einen benutzerdefinierten Avatar mit einer vordefinierten Stimme oder einer benutzerdefinierten Stimme kombinieren.

Verfügbare integrierte Stimmen

Sie können vorgefertigte Avatare mit einer der vorgefertigten HD-Stimmen in der Gemini Live API kombinieren. Weitere Informationen zu vordefinierten Stimmen finden Sie unter Vordefinierte Stimmen.

Nächste Schritte