פתרון בעיות ב-Gemini Live API

במסמך הזה מפורטים שלבים לפתרון בעיות שאתם עשויים להיתקל בהן במהלך השימוש ב-Gemini Live API.

החיבור מתנתק באופן לא צפוי

אם החיבור לסשן מתנתק באופן לא צפוי, יכול להיות שהסיבה לכך היא מגבלות על טוקנים, פסק זמן לחיבור לסשן או בעיות ברשת.

התנהגות

הסשן נותק עם קוד השגיאה 1000 או 1006.

סיבות אפשריות

  • דחיסת חלון ההקשר לא מופעלת, והטוקן של ההקשר חורג ממגבלת הטוקנים של ההקשר בסשן (עד 128k).
  • לא מיושמת לוגיקה של חידוש סשן, או שהלוגיקה של חידוש הסשן לא מיושמת בצורה נכונה.
  • חיבור מקוטע לאינטרנט.

סיבות ופתרונות

  • הטוקנים חורגים ממגבלת הטוקנים של ההקשר של הסשן: כדי למנוע חריגה ממגבלת הטוקנים של ההקשר של הסשן, צריך להפעיל דחיסה של ההקשר. יכול להיות שתהיה לכך השפעה על איכות השיחה, כי המודל יבטל לסירוגין חלקים קודמים בהיסטוריית הצ'אט.

  • החיבור לסשן יפוג אחרי 10 דקות: כדאי לנהל את חידוש הסשן כדי לאפשר אינטראקציות ארוכות יותר. מידע נוסף זמין במאמר בנושא שיטות מומלצות לחידוש סשן.

  • חיבור לא יציב לאינטרנט: צריך לבדוק את מצב החיבור לאינטרנט, כי תנודות ביציבות עלולות לגרום לבעיות בקישוריות.

המודל לא הצליח להבין את המשתמש

אם נראה שהמודל לא מבין את הקלט שלכם, חשוב לוודא שפורמט האודיו נכון ולבדוק את איכות המיקרופון ורעשי הרקע.

התנהגות

המודל מגיב במידע לא רלוונטי, מגיב במידע שגוי או מבקש מהמשתמש לחזור על השאלה.

סיבות אפשריות

  • פורמט האודיו של הקלט שגוי.
  • איכות המיקרופון לא טובה.
  • רעשי הרקע חזקים מדי.

סיבות ופתרונות

  • פורמט האודיו של הקלט לא תקין: צריך לוודא שפורמט האודיו של הקלט הוא PCM של 16 ביט, עם סדר בתים מסוג little-endian, קצב דגימה של 16kHz וערוץ מונו יחיד.

  • איכות המיקרופון לא טובה: כדי לבדוק את איכות המיקרופון, מקליטים קטע אודיו קצר ומפעילים אותו. אם איכות המיקרופון לא טובה, כדאי לנסות להשתמש במיקרופון עם איכות טובה יותר.

  • רעשי הרקע חזקים מדי: כדי לבדוק את רמת רעשי הרקע, מקליטים קטע אודיו קצר ומפעילים אותו. אם רמת רעשי הרקע גבוהה מדי, נסו לקרב את המיקרופון למשתמש או להשתמש במיקרופון עם ביטול רעשים טוב יותר.

המודל לא מגיב

אם לא מתקבלת תגובה מהמודל, כדאי לבדוק את האפשרויות לזיהוי פעילות קולית ואת חיבור ה-WebSocket.

התנהגות

אין תגובה מהמודל.

סיבות אפשריות

  • הגדרות ה-VAD לא נקבעו בצורה נכונה.
  • החיבור ל-WebSocket נקטע.

סיבות ופתרונות

  • הגדרת VAD שגויה: המשתמש השבית את ה-VAD. במקרה כזה, המודל ימשיך להמתין לדיבור של המשתמש ולא יגיב לו. חשוב לשלוח אירועים מסוג ActivityStart ו-ActivityEnd למודל אם ה-VAD מושבת.

  • החיבור ל-WebSocket הופסק: אם החיבור ל-WebSocket הופסק, לא תהיה תקשורת בין הלקוח לשרת. בודקים את סטטוס החיבור של WebSocket ומוודאים שהוא נוצר בצורה תקינה.

אי אפשר להפריע למודל

אם אין אפשרות להפריע למודל בזמן שהוא מדבר, צריך לוודא שמטפלים במאגר ההפעלה ובסטרימינג של האודיו בצורה נכונה.

התנהגות

המודל ממשיך לדבר בלי הפרעה מהמשתמש.

סיבות אפשריות

  • הניקוי של מאגר הנתונים הזמני של ההפעלה נכשל.
  • הייתה בעיה בסטרימינג של אודיו ל-Gemini Live API.
  • ההטמעה של VAD מותאם אישית לא תקינה.

סיבות ופתרונות

  • הניקוי של מאגר הנתונים הזמני של ההפעלה נכשל: הלקוח צריך לנקות את מאגר הנתונים הזמני של ההפעלה מיד כשמתקבל אות הפרעה מהמודל. אחרת, המודל ימשיך לדבר.

  • הייתה בעיה בהזרמת אודיו ל-Gemini Live API: כדי לצמצם את זמן האחזור, הלקוח צריך להזרים אודיו ל-Gemini Live API במקטעים של 20 עד 40 אלפיות השנייה. אם הלקוח לא מצליח להזרים אודיו ל-Gemini Live API, המודל לא ישלח אות הפרעה ללקוח.

  • הטמעת VAD מותאם אישית לא בוצעה בצורה נכונה: אם ה-VAD המותאם אישית לא מצליח לזהות את תחילת הדיבור או שהלקוח לא מצליח לשלוח אות ActivityStart למודל, המודל לא ישלח אות הפרעה ללקוח.