Gemini Live API מאפשר אינטראקציות קוליות ווידאו עם Gemini בזמן אמת עם זמן טעינה נמוך. הוא מעבד זרמים רציפים של אודיו, וידאו או טקסט כדי לספק תשובות מיידיות בדיבור, שנשמעות כמו דיבור אנושי. כך נוצרת חוויה טבעית של שיחה עם המשתמשים.
התנסות ב-Gemini Live API ב-Agent Platform Studio
תרחישים לדוגמה
אפשר להשתמש ב-Gemini Live API כדי ליצור סוכנים קוליים וסוכני וידאו בזמן אמת למגוון תעשיות, כולל:
- מסחר אלקטרוני וקמעונאות: עוזרים לקניות שמציעים המלצות מותאמות אישית וסוכני תמיכה שפותרים בעיות של לקוחות.
- גיימינג: דמויות אינטראקטיביות שאי אפשר לשחק איתן (NPC), עזרה במשחק, ותרגום בזמן אמת של תוכן במשחק.
- ממשקי דור הבא: חוויות שכוללות קול ווידאו ברובוטיקה, במשקפיים חכמים ובכלי רכב.
- שירותי בריאות: עוזרים בתחום הבריאות לתמיכה במטופלים ולחינוך שלהם.
- שירותים פיננסיים: יועצים מבוססי-AI לניהול הון וייעוץ בנושא השקעות.
- Education: מנטורים מבוססי-AI ועוזרי למידה שמספקים הדרכה ומשוב בהתאמה אישית.
תכונות עיקריות
Gemini Live API מציע קבוצה מקיפה של תכונות ליצירת סוכני קול ווידאו חזקים:
- איכות אודיו גבוהה: Gemini Live API מספק דיבור טבעי שנשמע מציאותי בכמה שפות.
- תמיכה רב-לשונית: אפשר לנהל שיחות ב-24 שפות נתמכות.
- התפרצות לשיחה: המשתמשים יכולים להפריע למודל בכל שלב כדי לנהל אינטראקציות דינמיות.
- שיחה מותאמת-רגש: התאמת סגנון הטון של התגובה כך שיתאימו לביטוי הקלט של המשתמש.
- שימוש בכלי: משלב כלים כמו קריאה לפונקציה וחיפוש Google לאינטראקציות דינמיות.
- תמלולי אודיו: מספק תמלילי טקסט של קלט של משתמשים והפלט מהמודל.
- אודיו פרואקטיבי: (תצוגה מקדימה) מאפשר לכם לקבוע מתי המודל יגיב ובאילו הקשרים.
מפרטים טכניים
בטבלה הבאה מפורט המפרט הטכני של Gemini Live API:
| קטגוריה | פרטים |
|---|---|
| אופני קלט | אודיו (אודיו PCM גולמי של 16 ביט, 16kHz, little-endian), תמונות/סרטונים (JPEG 1FPS), טקסט |
| אופנויות פלט | אודיו (אודיו PCM גולמי של 16 ביט, 24kHz, little-endian), טקסט |
| פרוטוקול | חיבור WebSocket עם שמירת מצב (WSS) |
מודלים נתמכים
המודלים הבאים תומכים ב-Gemini Live API. בוחרים את המודל המתאים בהתאם לדרישות האינטראקציה.
| מזהה מודל | זמינות | תרחיש שימוש | תכונות עיקריות |
|---|---|---|---|
gemini-live-2.5-flash-native-audio |
זמינות לכלל המשתמשים (GA) | מומלץ. סוכנים קוליים עם זמן אחזור נמוך. תמיכה במעבר חלק בין שפות ובטון רגשי. |
|
קדימה, מתחילים
בוחרים את המדריך שמתאים לסביבת הפיתוח:
מדריך ל-Gen AI SDK
מתחברים ל-Gemini Live API באמצעות Gen AI SDK כדי ליצור אפליקציה מולטי-מודאלית בזמן אמת עם קצה עורפי (backend) ב-Python.
WebSocket tutorial
אפשר להתחבר ל-Gemini Live API באמצעות WebSockets כדי ליצור אפליקציה מולטי-מודאלית בזמן אמת עם ממשק קצה ב-JavaScript ובקצה העורפי ב-Python.
מדריך ל-ADK
יצירת סוכן ושימוש בסטרימינג של ערכת פיתוח סוכנים (ADK) כדי להפעיל תקשורת קולית ווידאו.
שילובים עם שותפים
אם אתם רוצים לשלב את Gemini Live עם חלק מהשותפים שלנו, הפלטפורמות האלה כבר שילבו את Gemini Live API באמצעות פרוטוקול WebRTC כדי לייעל את הפיתוח של אפליקציות אודיו ווידאו בזמן אמת.
תרשים עזר לארכיטקטורה של LiveKit ו-ADK
כדי ליצור עוזרים קוליים מתקדמים ברמת ייצור שדורשים תזמור מתוחכם של סשנים, ניתוב והקצאת משימות לכמה סוכנים, אפשר ליצור שילוב דו-כיווני עם זמן טעינה נמוך באמצעות LiveKit (WebRTC) עם Gemini Live API דרך הערכה לפיתוח סוכנים (ADK).
הארכיטקטורה הזו מאפשרת לכם לפרוס סוכן Orchestrator שמטפל באינטראקציה הראשונית עם הלקוח ומנתב בקשות באופן דינמי לסוכני משנה מומחים (לדוגמה, העברת הקשר לסוכן Flight Booking או לסוכן Hotel Booking באמצעות transferAgent Orchestration).
כדי לעיין בעיצוב העזר הזה ולפרוס אותו, אפשר לעיין ביישום הרשמי של בסיס הקוד ב-GitHub.