מדריך למפתחים בנושא Gemini 3.8 Live

‫Gemini 3.8 Live הוא מודל לשיחות בזמן אמת שמיועד לאינטראקציות דו-כיווניות בקול ובווידאו עם זמן אחזור קצר, וליצירת אווטארים בזמן אמת לשיחות פנים אל פנים. ‫Gemini 3.8 Live מיועד לתהליכי עבודה רציפים של שיחות, ומספק דיאלוג רגשי שמופעל כברירת מחדל, סינון אודיו יזום, כלים לחסימה עם ביטול אוטומטי ומעבר דינמי בין שפות.

כאן מוסבר על הנושאים הבאים:

  • איך ‎3.8 Live משתלב במשפחת המודלים של Gemini.
  • היכולות העיקריות בגרסה 3.8 Live.
  • שילוב עם Google Gen AI SDK.
  • כללים ומוסכמות נדרשים של API.
  • מעבר ממודלים קודמים של Gemini Live API.

תפקיד בקבוצה המשפחתית ב-Gemini

‫3.8 גרסת Live מיועדת לאינטראקציות בסטרימינג בזמן אמת. הוא פועל באמצעות WebSockets דו-כיווניים, מעבד דיבור, פידים של מצלמה בשידור חי ושידורי מסך עם זמן אחזור של פחות משנייה, תוך יצירת אודיו של 24kHz ודמויות וידאו מסונכרנות של 24FPS.

מפרטים והשוואות בין מודלים

בטבלה הבאה מוצגת השוואה בין המפרטים של ‎3.8 Live לבין המפרטים של מודלים קודמים של Gemini Live API:

מאפיין ‫Gemini 3.8 במצב לייב ‫Gemini 2.5 Flash Live API Native Audio (גרסת GA בסיסית)
מזהה המודל gemini-3.8-live gemini-live-2.5-flash-native-audio
שלב ההשקה זמינות לכלל המשתמשים (GA) זמינות לכלל המשתמשים (GA)
אופני קלט אודיו (PCM‏ 16kHz), וידאו (JPEG‏ FPS‏ 1), טקסט אודיו (PCM‏ 16kHz), וידאו (JPEG‏ 1FPS), טקסט
אופני פלט אודיו (‎24 kHz PCM), וידאו (‎24 FPS MP4 אווטאר בזמן אמת), טקסט אודיו (PCM‏ 24kHz), טקסט
סינתזה של אווטאר בזמן אמת פלט וידאו מסונכרן של 24 FPS לא נתמך
שיחה מותאמת-רגש מופעלת כברירת מחדל נדרשת הגדרה מפורשת
סינון אודיו יזום מופעלת כברירת מחדל נדרשת הגדרה מפורשת
הרצה של קריאה להפעלת פונקציות חסימה אסינכרונית ללא חסימה וביטול אוטומטי (behavior="BLOCKING") אסינכרוני וסינכרוני
טיפול בהתפרצות לשיחה הפרעה מנומסת (המתנה כשהמשתמש מדבר) הפרעה מיידית (יכולה לחפוף לאודיו של המשתמש)
תמיכה בשפות מעבר דינמי בין שפות נתמכות במהלך השידור שפות נתמכות
הטיית דומיין תמיכה ב-custom_vocabulary ב-AudioTranscriptionConfig תמלול בסיסי רגיל
שליטה בטוקנים חזותיים ‫media_resolution שניתן להגדיר (LOW, MEDIUM, HIGH) תקציב טוקנים קבוע לכל פריים

מתי כדאי להשתמש ב-Gemini 3.8 Live

כדאי להשתמש בגרסה 3.8 Live בתרחישים הבאים:

  • אתם צריכים זמן אחזור קצר בשיחה, חילופי תורות טבעיים והתאוששות מהירה כשהמשתמש קוטע את השיחה (התפרצות).
  • האפליקציה קוראת לכלים חיצוניים וצריכה ביצוע ללא חסימה כדי שפלט האודיו ימשיך בזמן שמערכות בקצה העורפי מעבדות בקשות.
  • אתם רוצים לרנדר אווטארים דיגיטליים מדברים עם אנימציית פנים מסונכרנת וליפסינק בקצב של 24 FPS, בלי פייפליינים חיצוניים של רינדור.
  • המשתמשים שלכם מדברים בכמה שפות, וצריך לזהות את השפה באמצע השיחה ולעבור בין השפות הנתמכות.
  • אתם צריכים הטיית אוצר מילים ספציפית לדומיין בשביל מונחים טכניים, מק"טים או שמות של מותגים.

למפרט המלא ולמגבלות המכסות, עיינו בדף המודל של ‎3.8 Live.

היכולות העיקריות ב-Gemini 3.8 Live

בגרסה 3.8 Live יש את היכולות הבאות:

  • סינתזת וידאו של אווטאר בזמן אמת בקצב של 24 פריימים לשנייה: גרסת ‎3.8 Live יוצרת סטרימינג של וידאו בפורמט MP4 מסונכרן בקצב של 24 פריימים לשנייה (response_modalities=["VIDEO"]) ישירות מהפלט מהמודל. הבעות הפנים ותנועות השפתיים שנוצרות מסונכרנות עם הדיבור המסונתז בזמן אמת.

    אתם יכולים להשתמש בדמויות מוכנות מראש או לספק תמונות רפרנס בהתאמה אישית כדי ליצור שירותי קונסיירז' דיגיטליים, סוכני שירות לקוחות, מורים וירטואליים או דמויות אינטראקטיביות. איך מגדירים אווטארים בזמן אמת

  • שיחה מותאמת-רגש וסינון אודיו יזום מופעלים כברירת מחדל:

    • דיאלוג רגשי: מופעל כברירת מחדל בגרסה 3.8 Live. המודל מעבד את הפרוזודיה האקוסטית, הרמזים הקוליים, ההפסקות וההטיות של הדיבור בקלט האודיו של המשתמש כדי להתאים את טון הדיבור וקצב השיחה.
    • סינון אודיו יזום: מופעל כברירת מחדל בגרסה 3.8 של מצב Live. המודל מסנן רעשי סביבה ודיבור ברקע, ויוצר תשובות קוליות רק כשהמשתמש פונה אליו.
  • קריאה אסינכרונית להפעלת פונקציות חסימה עם ביטול אוטומטי: ‫3.8 מצב Live מספק התנהגויות של קריאת API לכלי שמיועדות לדיבור בזמן אמת:

    • הפעלה אסינכרונית ללא חסימה: כשהמודל יוצר קריאה לכלי, סשן האודיו נשאר פעיל כדי שהסוכן יוכל להעביר אישורים בשיחה ("אני אפתח את פרטי החשבון שלך…") ולטפל בקלט נוסף בזמן שאפליקציית הלקוח קוראת לממשקי API לקצה העורפי.
    • ביטול אוטומטי של קריאות חסימה (behavior="BLOCKING"): כשמגדירים behavior="BLOCKING" בהצהרה על פונקציה, היצירה מושהית עד שמגיעה התשובה מהכלי. אם מתקבל קלט חדש מהמשתמש בזמן שהקריאה החוסמת פועלת, שרת Gemini Live API מבטל את הקריאה בהמתנה.
    • טיפול בהפרעות מנומסות: במודלים קודמים, החזרת תשובה מהכלי באמצעות scheduling="INTERRUPT" בזמן שהמשתמש דיבר חפפה לאודיו של המשתמש. במצב Live בגרסה 3.8, השרת משנמך את התזמון ל-WHEN_IDLE כשהמשתמש מדבר, ומשמיע את התשובה אחרי שהמשתמש מסיים לדבר.
  • מעבר דינמי בין שפות ואוצר מילים מותאם אישית:

    • תמיכה בכמה שפות: זיהוי ומעבר בין השפות הנתמכות באמצע הסשן בלי להפעיל מחדש או להגדיר מחדש את החיבור.
    • הטיית אוצר מילים בהתאמה אישית: מקבלת מילות מפתח ספציפיות לדומיין, שמות עצם פרטיים, מונחים רפואיים וקודי מוצרים ב-AudioTranscriptionConfig (דרך input_audio_transcription) באמצעות custom_vocabulary כדי לשפר את דיוק התמלול.
  • ‫Multimodal visual grounding with media_resolution control: מקבלת שידורי וידאו בזמן אמת (פריימים של JPEG בקצב של FPS‏ 1, רזולוציה מומלצת 768x768) ומאפשרת להגדיר את media_resolution (MEDIA_RESOLUTION_LOW,‏ MEDIA_RESOLUTION_MEDIUM,‏ MEDIA_RESOLUTION_HIGH) כדי לאזן בין השימוש בטוקנים לכל פריים לבין הפרטים החזותיים.

מדריך למתחילים

לפני שמתחילים, צריך לבצע אימות ב- Google Cloud באמצעות Application Default Credentials ‏(ADC).

בדוגמת הקוד הבאה, מחליפים את PROJECT_ID במזהה הפרויקט ב- Google Cloud .

התקנת ה-SDK

מתקינים או מעדכנים את Google Gen AI SDK ואת יחסי התלות של האודיו:

pip install --upgrade google-genai websockets numpy

התחלת סשן דו-כיווני עם קריאות אסינכרוניות לכלים

בדוגמה הבאה נוצר סשן בזמן אמת עם gemini-3.8-live, נבחר קול מובנה (Aoede), מוגדרת הטיה של אוצר מילים בהתאמה אישית ומופעלות קריאות אסינכרוניות לפונקציות שלא חוסמות:

import asyncio
from google import genai
from google.genai import types

PROJECT_ID = "PROJECT_ID"
LOCATION = "us-central1"
MODEL_ID = "gemini-3.8-live"

# Initialize the Gen AI client for enterprise.
client = genai.Client(enterprise=True, project=PROJECT_ID, location=LOCATION)

# Define a tool for asynchronous execution.
order_lookup_tool = types.FunctionDeclaration(
    name="lookup_order_status",
    description="Fetches real-time shipping status for a customer order ID.",
    parameters=types.Schema(
        type="OBJECT",
        properties={
            "order_id": types.Schema(
                type="STRING",
                description="The order ID, for example, ORD-8472",
            ),
        },
        required=["order_id"],
    ),
)

# Configure the live connection.
config = types.LiveConnectConfig(
    response_modalities=["AUDIO"],
    system_instruction=types.Content(
        parts=[
            types.Part.from_text(
                text=(
                    "You are an enterprise concierge. When you call a tool, "
                    "briefly acknowledge the request and tell the user what you're doing. "
                    "If a tool returns no results, inform the user before trying again. "
                    "Never issue more than two consecutive tool calls without speaking."
                )
            )
        ]
    ),
    speech_config=types.SpeechConfig(
        voice_config=types.VoiceConfig(
            prebuilt_voice_config=types.PrebuiltVoiceConfig(voice_name="Aoede")
        ),
    ),
    input_audio_transcription=types.AudioTranscriptionConfig(
        custom_vocabulary=["ORD-8472", "Gemini Live", "Express Shipping"]
    ),
    output_audio_transcription=types.AudioTranscriptionConfig(),
    tools=[types.Tool(function_declarations=[order_lookup_tool])],
)

async def handle_tool_call(session, function_call):
    """Executes backend calls asynchronously without blocking incoming audio."""
    order_id = function_call.args.get("order_id", "")
    await asyncio.sleep(2.0)  # Simulate backend API latency.

    if not order_id.startswith("ORD-"):
        result = {
            "status": "invalid_argument",
            "retryable": False,
            "message": f"Order ID '{order_id}' is invalid. Ask the user to verify.",
        }
    else:
        result = {
            "status": "ok",
            "retryable": False,
            "order_id": order_id,
            "shipping_status": "Out for delivery by 4:00 PM",
        }

    # Send tool response matching the call ID.
    await session.send_tool_response(
        function_responses=[
            types.FunctionResponse(
                id=function_call.id,
                name=function_call.name,
                response=result,
            )
        ]
    )

async def main():
    async with client.aio.live.connect(model=MODEL_ID, config=config) as session:
        print(f"Connected to {MODEL_ID}")

        # Send initial text or stream 16 kHz PCM audio chunks.
        await session.send_realtime_input(
            text="Hi! Can you check the status of order ORD-8472?"
        )

        async for message in session.receive():
            # Handle asynchronous tool calls.
            if message.tool_call:
                for call in message.tool_call.function_calls:
                    asyncio.create_task(handle_tool_call(session, call))

            # Process audio output chunks and transcriptions.
            if message.server_content:
                if (
                    message.server_content.output_transcription
                    and message.server_content.output_transcription.text
                ):
                    print(
                        f"Agent: {message.server_content.output_transcription.text}",
                        end="",
                        flush=True,
                    )

if __name__ == "__main__":
    asyncio.run(main())

כללים ומוסכמות נדרשים של API

כשמפתחים באמצעות גרסה 3.8 Live, צריך לפעול לפי המוסכמות הבאות של ה-API:

  • תגובות פונקציה אינפורמטיביות: אל תחזירו מילון ריק ({}) או None מ-tool handler. אם כלי מחזיר שגיאה או מטען ייעודי (payload) ריק, יכול להיות שגרסה 3.8 של מצב Live תיצור קריאות חוזרות להפעלת פונקציות עם ארגומנטים ששונו, אלא אם התגובה כוללת שדות סטטוס. החזרת שדות מובְנים בכל תשובה מהכלי:
    • ‫status: מחרוזת סטטוס בפורמט קריא למכונה, כמו "ok",‏ "no_results" או "invalid_argument".
    • ‫retryable: צריך להגדיר את הערך false אם חזרה על הקריאה מחזירה את אותה תוצאה.
    • ‫message או guidance: טקסט שמציין את הסטטוס שצריך לדווח למשתמש.
  • מגבלות על ניסיונות חוזרים של כלים ברמת ההנחיה: כוללים מגבלה על ניסיונות חוזרים ב-system_instruction. לדוגמה: "אם קריאת API לכלי לא מחזירה תוצאות, צריך להודיע למשתמש במקום לחפש שוב ושוב עם וריאציות של פרמטרים. לעולם אל תפעיל יותר משתי קריאות API לכלי ברצף בלי לדבר עם המשתמש".
  • התאמה מחמירה של FunctionResponse:
    • כל תור של FunctionResponse חייב לספק את ה-id המדויק מה-FunctionCall הקודם.
    • מעבירים אובייקטים של תגובה ישירות ב-FunctionResponse.response.
  • פורמטים של סטרימינג של אודיו:
    • אודיו קלט: ‎16 kHz, ‏ 16-bit, ‏ little-endian, ‏ mono PCM (audio/pcm;rate=16000), מועבר בסטרימינג במקטעים של 20 עד 100 אלפיות השנייה.
    • פלט אודיו: ‎24 kHz mono PCM.
  • הסרת פרמטרים מדור קודם: אל תעבירו את enable_affective_dialog או את proactivity בהגדרה. התכונות האלה מופעלות כברירת מחדל בגרסה 3.8 Live.
  • הזנת היסטוריית שיחות: אם אתם מזינים היסטוריה של כמה סבבים באמצעות send_client_content, המתינו עד שאפליקציית הלקוח תקבל את המסגרת של השרת setup_complete ותגדיר את HistoryConfig(initial_history_in_client_content=True).

מעבר ל-Gemini 3.8 Live

מידע נוסף על המעבר מ-gemini-live-2.5-flash-native-audio ל-gemini-3.8-live זמין במאמר מעבר מ-Gemini 2.5 Flash Live API Native Audio ל-Gemini 3.8 Live.

רשימת משימות למפתחים

לפני פריסת האפליקציה, צריך לוודא את הפרטים הבאים:

מקורות מידע נוספים

מידע נוסף זמין במקורות המידע הבאים: