ממשק Video Intelligence API יכול לזהות ישויות שמוצגות בצילומי וידאו באמצעות התכונה LABEL_DETECTION ולהוסיף הערות לישויות האלה עם תוויות (תגים). התכונה הזו מזהה אובייקטים, מיקומים, פעילויות, מיני בעלי חיים, מוצרים ועוד.
זיהוי תוויות שונה ממעקב אחרי אובייקטים. בניגוד למעקב אחרי אובייקטים, זיהוי תוויות מספק תוויות לכל הפריים (בלי תיבות תוחמות).
לדוגמה, בסרטון של רכבת במעבר חצייה, Video Intelligence API מחזיר תוויות כמו train (רכבת), transportation (תחבורה), railroad crossing (מעבר חצייה) וכן הלאה. כל תווית כוללת פלח זמן עם היסט הזמן (חותמת זמן) של הופעת הישות מתחילת הסרטון. כל הערה מכילה גם מידע נוסף, כולל מזהה ישות שאפשר להשתמש בו כדי למצוא מידע נוסף על הישות ב-Google Knowledge Graph Search API.
כל ישות שמוחזרת יכולה לכלול גם ישויות משויכות של קטגוריות בשדה categoryEntities. לדוגמה, לתווית הישות 'טרייר' יש קטגוריה של 'כלב'. לישויות מסוג קטגוריה יש היררכיה. לדוגמה, הקטגוריה 'כלב' היא צאצא של הקטגוריה 'יונקים' בהיררכיה. רשימה של ישויות קטגוריות נפוצות שמשמשות את Video Intelligence זמינה בכתובת entry-level-categories.json.
אפשר לחלק את הניתוח לקטעים הבאים:
- רמת הקטע:
אפשר לציין קטעים של סרטון שנבחרו על ידי המשתמש לצורך ניתוח, על ידי הגדרת חותמות זמן של התחלה וסיום לצורך הערות (ראו VideoSegment). לאחר מכן, המערכת מזהה את הישויות ומוסיפה להן תוויות בכל פלח. אם לא מציינים פלחים, כל הסרטון נחשב לפלח אחד. - רמת הצילום:
צילומים (שנקראים גם סצנה) מזוהים אוטומטית בכל קטע (או סרטון). לאחר מכן, המערכת מזהה את הישויות ומוסיפה להן תווית בכל סצנה. מידע נוסף מופיע במאמר בנושא זיהוי שינוי צילום - ברמת הפריימים:
הישויות מזוהות ומסומנות בכל פריים (עם דגימה של פריים אחד לשנייה).
כדי לזהות תוויות בסרטון, קוראים לשיטה annotate ומציינים LABEL_DETECTION בשדה features.
אפשר לקרוא את המאמרים ניתוח סרטונים לצורך זיהוי תוויות והדרכה בנושא זיהוי תוויות.
Video Intelligence API Visualizer
כדי לראות את התכונה הזו בפעולה, אפשר לעיין ב כלי הוויזואליזציה של Video Intelligence API.