Gemini Live API מאפשר אינטראקציות קוליות ווידאו עם Gemini בזמן אמת עם זמן טעינה נמוך. הוא מעבד זרמים רציפים של אודיו, וידאו או טקסט כדי לספק תשובות מיידיות בדיבור, שנשמעות כמו תשובות של בני אדם. כך נוצרת חוויה טבעית של שיחה עם המשתמשים. אווטארים בשידור חי מאפשרים אינטראקציה עם סמל שנראה כמו אדם, שמסונכרן עם תגובות הדיבור, וכך מספקים למשתמשים חוויה משופרת ואישית יותר.
איך מתנסים ב-Gemini Live API ב-Agent Studio
תרחישים לדוגמה
אפשר להשתמש ב-Gemini Live API כדי ליצור סוכנים קוליים וסוכני וידאו בזמן אמת למגוון תעשיות, כולל:
נציגי מותג תאגידיים: נציגי מותג אינטראקטיביים שמוצבים בנכסי אינטרנט תאגידיים או באפליקציות לנייד, שנוצרו על בסיס דמויות של עובדים מורשים או כישרונות בתשלום עם הסכמי שימוש חתומים.
מסחר אלקטרוני וקמעונאות: עוזרים לקניות שמציעים המלצות מותאמות אישית וסוכני תמיכה שפותרים בעיות של לקוחות.
גיימינג: דמויות אינטראקטיביות שאי אפשר לשחק איתן (NPC), עוזרים במשחק ותרגום בזמן אמת של תוכן במשחק.
ממשקי הדור הבא: חוויות שכוללות קול ווידאו ברובוטיקה, במשקפיים חכמים ובכלי רכב.
שירותי בריאות: מדריכי ניווט שעוזרים להתמצא במתקנים ולמצוא שירותי טיפול.
שירותים פיננסיים: סוכנים וירטואליים שממיינים בקשות שקשורות לבנקאות יומיומית.
Education: מורים ומלווים מבוססי-AI שמספקים הדרכה ומשוב מותאמים אישית.
תכונות עיקריות
Gemini Live API מציע קבוצה מקיפה של תכונות לבניית סוכני קול ווידאו חזקים:
איכות אודיו גבוהה: Gemini Live API מספק דיבור טבעי וריאליסטי במגוון שפות.
תמיכה בכמה שפות: אפשר לנהל שיחה ב-24 שפות נתמכות.
התפרצות לשיחה: המשתמשים יכולים להפריע למודל בכל שלב כדי לנהל אינטראקציות דינמיות.
שיחה מותאמת-רגש: התאמת סגנון התגובה והטון בהתאם לביטוי הקלט של המשתמש.
שימוש בכלים: משלב כלים כמו קריאה לפונקציות וחיפוש Google לאינטראקציות דינמיות.
תמלולי אודיו: מספק תמלילי טקסט של קלט של משתמשים והפלט מהמודל. אם רוצים להשתמש בתמלול כיעד סופי ולא כערוץ צדדי של שיחה, אפשר לעיין במאמר בנושא Gemini 3.5 Transcribe.
שמע פרואקטיבי: מאפשר לכם לקבוע מתי המודל יגיב ובאילו הקשרים.
מפרטים טכניים
בטבלה הבאה מפורטים המפרטים הטכניים של Gemini Live API:
| קטגוריה | פרטים |
|---|---|
| אופני קלט | אודיו (אודיו PCM גולמי באיכות 16 ביט, 16kHz, little-endian), תמונות/סרטונים (JPEG 1FPS), טקסט |
| אופנויות פלט | אודיו (אודיו PCM גולמי של 16 ביט, 24kHz, little-endian), טקסט |
| סרטון (אווטארים בזמן אמת) | סרטון (mp4) |
| פרוטוקול | חיבור WebSocket עם שמירת מצב (WSS) |
מודלים נתמכים
המודלים הבאים תומכים ב-Gemini Live API. בוחרים את המודל המתאים בהתאם לדרישות האינטראקציה.
| מזהה המודל | זמינות | תרחיש שימוש | תכונות עיקריות |
|---|---|---|---|
gemini-3.8-live |
זמינות לכלל המשתמשים (GA) | מומלץ. סוכנים קוליים עם זמן אחזור נמוך. תומך במעבר חלק בין שפות. |
|
gemini-live-2.5-flash-native-audio |
זמינות לכלל המשתמשים (GA) | מומלץ. סוכנים קוליים עם זמן אחזור נמוך. תמיכה במעבר חלק בין שפות שונות ובטון רגשי. |
|
gemini-3.5-transcribe-live-preview |
תצוגה מקדימה | רק המרת דיבור לטקסט. כתוביות בזמן אמת, הקלדה קולית ותמלול של שיחות. הוא מחזיר טקסט ולא אודיו, ולכן הוא לא מנהל שיחה. |
|
קדימה, מתחילים
בוחרים את המדריך שמתאים לסביבת הפיתוח:
הדרכה בנושא Gen AI SDK
מתחברים ל-Gemini Live API באמצעות Gen AI SDK כדי ליצור אפליקציה מולטי-מודאלית בזמן אמת עם קצה עורפי (backend) ב-Python.
WebSocket tutorial
אפשר להתחבר ל-Gemini Live API באמצעות WebSockets כדי ליצור אפליקציה מולטי-מודאלית בזמן אמת עם ממשק קצה ב-JavaScript ובקצה העורפי ב-Python.
מדריך ל-ADK
יוצרים סוכן ומשתמשים ב-Agent Development Kit (ADK) Streaming כדי להפעיל תקשורת קולית ווידאו.
שילובים עם שותפים
אם אתם רוצים לשלב את Gemini Live עם חלק מהשותפים שלנו, הפלטפורמות האלה כבר שילבו את Gemini Live API באמצעות פרוטוקול WebRTC כדי לייעל את הפיתוח של אפליקציות אודיו ווידאו בזמן אמת.
ארכיטקטורת הפניה של LiveKit ו-ADK
כדי ליצור עוזרים קוליים מתקדמים ברמת ייצור שדורשים תזמור מתוחכם של סשנים, ניתוב והקצאת משימות לכמה סוכנים, אפשר ליצור שילוב דו-כיווני עם זמן טעינה נמוך באמצעות LiveKit (WebRTC) עם Gemini Live API דרך הערכה לפיתוח סוכנים (ADK).
הארכיטקטורה הזו מאפשרת לכם לפרוס סוכן Orchestrator שמטפל באינטראקציה הראשונית עם הלקוח ומנתב בקשות באופן דינמי לסוכני משנה מומחים (לדוגמה, העברת הקשר לסוכן Flight Booking או לסוכן Hotel Booking באמצעות transferAgent Orchestration).
כדי לעיין בעיצוב העזר הזה ולפרוס אותו, אפשר לעיין ביישום הרשמי של בסיס הקוד ב-GitHub.