סקירה כללית על מחסן Vision

‫מחסן Vision הוא API שמאפשר למפתחים לשלב אחסון וחיפוש מבוסס-AI של תוכן מדיה לא מובנה (וידאו בסטרימינג, תמונות וסרטונים בקבוצות) בכלים ובאפליקציות קיימים.

מחסן Vision הוא רכיב מרכזי ב-Vertex AI Vision. הוא משמש כמאגר אחסון ומספק יכולות חיפוש מתקדמות למספר סוגי נתונים ולתרחישי שימוש שונים. פרטים נוספים:

  • וידאו בסטרימינג: אתם יכולים לייבא וידאו סטרימינג בשידור חי ונתוני ניתוח של וידאו בשידור חי באמצעות אפליקציית הפלטפורמה Vertex AI Vision או Vision Warehouse API, ולחפש תמונות באמצעות Vision Warehouse API או Google Cloud מסוף.
  • תמונה: אפשר לייבא תמונות ומטא-נתונים באמצעות Vision Warehouse API, לנתח תמונות באמצעות Vision Warehouse API ולחפש תמונות באמצעות Vision Warehouse API או מסוף Google Cloud .
  • סרטונים בכמות גדולה: אפשר לייבא סרטונים בכמות גדולה ומטא-נתונים באמצעות Vision Warehouse API, לנתח סרטונים בכמות גדולה באמצעות Vision Warehouse API ולחפש סרטונים בכמות גדולה באמצעות Vision Warehouse API או Google Cloud מסוף.

סקירה כללית על משאבי API

דיאגרמת משאבי API

מקורות מידע על Storage API

מאגר מידע: מאגר שמכיל נכסי מדיה מסוג מסוים. אתם יכולים ליצור כמה מאגרי מידע כדי לארגן סוגים שונים של נכסי מדיה.

נכס: אובייקט מדיה שמאוחסן במאגר. הנכסים יכולים להיות תמונות, סרטונים או שידורים חיים. מאגר בדרך כלל מכיל הרבה נכסים מאותו סוג. אפשר לציין הערות שמשויכות לנכסים. אפשר גם לקבץ נכסים באוספים לצורך ניהול.

אוסף: משאב בתוך מאגר שמשמש כמאגר של הפניות לנכסים.

הערה: מטא-נתונים או נתונים שסופקו על ידי המשתמש או נגזרו מ-Vertex AI Vision ומשויכים לנכס. לנכס יכולות להיות כמה הערות.

  • דוגמה 1: ציון הערת טקסט בשם video-title לנכסי וידאו של קבוצת סרטונים.
  • דוגמה 2: אחסון נתונים מנותחים ממודלים של Vertex AI Vision כהערות. לדוגמה, אפשר לשמור תוויות של זיהוי אובייקטים בפרקי זמן שונים בסרטון כהערות.

סכימת נתונים: מגדירה איך לפרש הערה בתוך קובץ טקסט. סכימת נתונים מגדירה סוג אחד של הערה ואת אסטרטגיית החיפוש שלה. כל הערה צריכה להיות משויכת לסכמת נתונים.

חיפוש מקורות מידע בנושא API

אינדקס (זמין לקטגוריות של תמונות וסרטונים בכמות גדולה): משאב ברמת הקורפוס שהוא ייצוג מנוהל של נכסים והערות שעברו ניתוח. אפשר לראות באינדקס קבוצת נתונים של וקטורי הטמעה והגבלות סמנטיות שמייצגת את המשמעות של תוכן המדיה. אפשר לפרוס אינדקסים בנקודות קצה של אינדקסים לחיפוש.

נקודת קצה של אינדקס (זמינה לתמונות ולסרטונים אנכיים בכמות גדולה): סביבה מנוהלת שמשמשת להצגת אינדקסים של מחסן Vision. נקודות קצה של אינדקס מספקות נקודת גישה יחידה לשליחת בקשות חיפוש.

הגדרת חיפוש: מאחסן מאפיינים שונים שמשפיעים על התנהגויות חיפוש ותוצאות חיפוש.

  • מאפיין של מאפיין (זמין לתוצאות חיפוש של סרטונים בסטרימינג): יוצר הגדרה להצגת תוצאות חיפוש של היסטוגרמות שמבוססות על מאפיינים.
  • מאפיין קריטריונים לחיפוש (זמין לסרטונים בסטרימינג ולסרטונים בפורמט אצווה): יוצר מיפוי בין קריטריונים מותאמים אישית לחיפוש לבין מפתח אחד או יותר של סכימת נתונים.

חיפוש היפרונים: סוג ספציפי של הגדרת חיפוש שמאפשרת להתאים אישית את היכולת של שירות החיפוש לזהות היפרונים של מילים. לדוגמה, משתמשים יכולים לציין את המילה 'בעל חיים' כהיפרנים של המילים 'חתול' ו'כלב'. חיפוש של 'animal' יחזיר גם תוצאות עם 'cat' ו-'dog' בנתוני האינדקס.

שפות נתמכות

השפות הבאות נתמכות ב-Batch Video Warehouse וב-Image Warehouse לחיפוש סמנטי:

  • אנגלית
  • ספרדית
  • פורטוגזית
  • צרפתית
  • יפנית
  • סינית

אין הגבלות שפה ב-Streaming Warehouse.

המאמרים הבאים