סטרימינג מורחב

אתם יכולים להשתמש בהזרמת נתונים מורחבת כדי להזרים תוכן אודיו ל-Dialogflow ולהזרים בחזרה הצעות לסוכנים אנושיים. צריך להגדיר מודל של המרת דיבור לטקסט שתומך בדיבור אחד.

בדרך כלל, סוגרים חצי מהשיחה או אומרים ל-Dialogflow API מתי לסיים את הסטרימינג כדי ליצור את התמליל הסופי ואת ההצעות של Agent Assist. הפעולה הזו מתרחשת בתורות לשיחה, כשממשק ה-API מקבל את הפרמטר is_final=true מתוצאת הזיהוי, StreamingAnalyzeContentResponse.recognition_result.

הזרמה ממושכת מצמצמת את הצורך בסגירה חלקית של תורות הדיבור בשיחה. הוא מאריך את הזמן הקצוב לתפוגה של החיבור לשלוש דקות, שבמהלכן אפשר לשלוח זרמי אודיו בלי לסגור חצי מהחיבור. ‫Dialogflow API שולח באופן אוטומטי את התמלילים הסופיים ואת ההצעות של Agent Assist בחזרה לשיחה. מפעילים מחדש את השידור רק אם חלף הזמן שהוקצב לו.

יסודות הסטרימינג

הזרמת נתונים מורחבת ב-Agent Assist דומה להזרמת אודיו לתעתוק קולי. המערכת שלכם מעבירה נתוני אודיו ל-API, ו-Dialogflow מעביר בחזרה נתוני StreamingAnalyzeContentResponse. הנתונים שמוחזרים כוללים הצעות לנציגים האנושיים שלכם.

כדי להשתמש בסטרימינג מורחב, צריך לבצע קריאה ל-method‏ streamingAnalyzeContent.

הזרמה מורחבת נתמכת רק בשלב של Agent Assist. מידע נוסף זמין בהגדרה של שלב בשיחה. כדי להשתמש בשידור ממושך:

  1. מבצעים קריאה ל-streamingAnalyzeContent ומגדירים את השדות הבאים:
    • StreamingAnalyzeContentRequest.audio_config.audio_encoding: AUDIO_ENCODING_LINEAR_16 או AUDIO_ENCODING_MULAW
    • enable_extended_streaming: true.
  2. הבקשה הראשונה streamingAnalyzeContent מכינה את הסטרימינג ומגדירה את האודיו.
  3. בבקשות הבאות, שולחים בייטים של אודיו לזרם.
  4. כל עוד תמשיכו לשלוח אודיו, תמשיכו לקבל הצעות. לא צריך לסגור את הסטרימינג באופן ידני. הוא ייסגר באופן אוטומטי ברגע ש-Agent Assist יזהה שההצהרות הסתיימו.
  5. מפעילים מחדש את השידור (כולל שליחה מחדש של הגדרות האודיו הראשוניות) במקרים הבאים:
    • השידור נקטע (השידור הופסק שלא כמתוכנן).
    • הזמן שנותר עד שהנתונים של האודיו יימחקו אוטומטית הוא פחות מ-3 דקות.
    • קיבלתם שגיאה שאפשר לנסות שוב. אפשר לנסות שוב עד שלוש פעמים.