סטרימינג של סרטונים בשידור חי

בדף הזה מוסבר איך להוסיף הערות לשידור וידאו מסטרימינג בשידור חי באמצעות פרוטוקולים סטנדרטיים.

ה-Streaming API של Video Intelligence API מאפשר ניתוח בזמן אמת של מדיה בשידור חי. התכונות הנתמכות כוללות:

  • זיהוי תוויות בזמן אמת

  • זיהוי שינויים בצילום בזמן אמת

  • זיהוי תוכן בוטה בשידור חי

  • זיהוי ומעקב אחרי אובייקטים בזמן אמת

ספריית ההטמעה AIStreamer מספקת קבוצה של ממשקי קוד פתוח וקוד לדוגמה כדי להתחבר ל-Video Intelligence API Streaming API. הספרייה תומכת ב:

  • ‫HTTP Live Streaming ‏ (HLS): פרוטוקול תקשורת וסטרימינג של מדיה שמבוסס על HTTP.

  • פרוטוקול סטרימינג בזמן אמת (RTSP): פרוטוקול בקרה ברשת לשרתי סטרימינג של מדיה. הוא משמש בשילוב עם פרוטוקול בזמן אמת (RTP) ופרוטוקול בקרה בזמן אמת (RTCP).

  • פרוטוקול העברת הודעות בזמן אמת (RTMP): פרוטוקול להזרמת אודיו, וידאו ונתונים באינטרנט.

כדי להתחיל להשתמש ב-AIStreamer

ספריית ההטמעה AIStreamer כוללת את הדוגמאות הבאות (כולל דוגמה ל-Docker).

ארכיטקטורת קוד

ספריית ההטמעה של AIStreamer כוללת את שלוש הספריות הבאות:

  • ‫client: ספריות לקוח של Python ו-C++ לחיבור ל-Video Intelligence.

  • ‫env: דוגמה ל-Docker להעברה של AIStreamer.

  • ‫proto: הגדרות פרוטו וממשק gRPC ל-Video Intelligence.

תלויות בצד שלישי

ספריית ההטמעה של AIStreamer בקוד פתוח מבוססת על הספריות הבאות בקוד פתוח, שנמצאות בבעלות Google או של צד שלישי.

  • ‫Bazel: כלי לבנייה ולבדיקה עם תמיכה בכמה שפות.

  • ‫gRPC: מסגרת RPC אוניברסלית בקוד פתוח עם ביצועים גבוהים.

  • ‫Protobuf: מנגנון של Google שאינו תלוי בשפה או בפלטפורמה, וניתן להרחבה, לצורך סריאליזציה של נתונים מובְנים.

  • ‫rules_protobuf: כללי Bazel ליצירת מאגרי פרוטוקולים ושירותי gRPC.

  • ‫glog: הטמעה של מודול הרישום ביומן של Google ב-C++‎.

  • ‫gflags: ספריית C++ שמטמיעה עיבוד של תכונות ניסיוניות בשורת הפקודה.

  • ‫ffmpeg: פתרון מלא בפלטפורמות שונות להקלטה, להמרה ולסטרימינג של אודיו ווידאו.

  • ‫gStreamer: עוד פלטפורמה חוצת-פלטפורמות לעיבוד מולטימדיה ולהעברה בסטרימינג.