בדף הזה מופיע אוסף של הטמעות לדוגמה של Gemini Live API ב-Gemini Enterprise Agent Platform. ההדגמות האלה, שכוללות פרויקטים בסיסיים ב-JavaScript ללא תלויות וגם ארכיטקטורות מקיפות שמבוססות על React, מראות איך ליצור סוכני קול חזקים בזמן אמת באמצעות Gemini Live API ו-ADK.
אפליקציות הדגמה (דמו)
- אפליקציית הדגמה של React: לקוח React מקיף שכולל סטרימינג בזמן אמת, שימוש בכלים וטיפול במדיה.
- אפליקציית הדגמה ב-JS פשוט: הטמעה של JavaScript ללא תלות, כדי להבין את המכניקה הבסיסית של ה-API.
- יועץ בזמן אמת: דמות של יועץ מומחה שיכולה לעבור בין מצב שקט למצב דיבור.
- נציג תמיכת לקוחות: נציג מתקדם עם זיהוי רגשות, קלט מולטימודלי והפעלת כלים.
- עוזר אישי לגיימינג: עוזר אישי לגיימינג עם יכולות של החלפת פרסונה ושיתוף מסך.
- אפליקציית Gemini Live Telephony: אפליקציה בזמן אמת להמרת קול ל-AI, שמשתמשת ב-Twilio לטלפוניה, בקצה עורפי של FastAPI וב-Gemini Live API ל-AI בממשק שיחה.
ערכת הכלים של ADK Gemini Live API
הערכה לפיתוח סוכנים (ADK) מספקת מסגרת מוכנה לייצור לפיתוח אפליקציות סטרימינג דו-כיווניות באמצעות Live API. המדריך וההדגמות הבאים מציגים את ארכיטקטורת הסטרימינג של ADK, שמאפשרת תקשורת דו-כיוונית בזמן אמת בין משתמשים לסוכני AI דרך ערוצים מולטי-מודאליים (טקסט, אודיו, וידאו).
כלים נוספים
- כלי לניפוי באגים באודיו מסוג PCM: כלי נפרד לבדיקה ולניפוי באגים בשידורי אודיו מסוג PCM גולמי ובחיבורי WebSocket.