סקירה כללית על מחסן Vision

‫מחסן Vision הוא API שמאפשר למפתחים לשלב אחסון וחיפוש מבוסס-AI של תוכן מדיה לא מובנה (סרטונים בסטרימינג, תמונות וסרטונים באצווה) בכלים ובאפליקציות קיימים.

מחסן Vision הוא רכיב מרכזי ב-Gemini Enterprise Agent Platform Vision. הוא משמש כמאגר אחסון ומספק יכולות חיפוש מתקדמות לסוגים שונים של נתונים ולתרחישי שימוש שונים. פרטים נוספים:

  • סטרימינג של סרטונים: אתם יכולים לייבא סטרימינג של סרטונים בשידור חי ונתוני ניתוח של סרטונים בשידור חי באמצעות אפליקציית הפלטפורמה Vision של פלטפורמת הסוכנים של Gemini Enterprise או Vision Warehouse API, ולחפש תמונות באמצעות Vision Warehouse API או מסוף Google Cloud .
  • תמונות: אתם יכולים לייבא תמונות ומטא-נתונים באמצעות Vision Warehouse API, לנתח תמונות באמצעות Vision Warehouse API ולחפש תמונות באמצעות Vision Warehouse API או מסוף Google Cloud .
  • סרטונים בכמות גדולה: אפשר לייבא סרטונים בכמות גדולה ומטא-נתונים באמצעות Vision Warehouse API, לנתח סרטונים בכמות גדולה באמצעות Vision Warehouse API ולחפש סרטונים בכמות גדולה באמצעות Vision Warehouse API או Google Cloud מסוף.

סקירה כללית על משאבי API

תרשים של משאבי API

מקורות מידע בנושא Storage API

מאגר מידע: מאגר שמכיל נכסי מדיה מסוג מסוים. אתם יכולים ליצור כמה קורפוסים כדי לארגן סוגים שונים של נכסי מדיה.

נכס: אובייקט מדיה שמאוחסן במאגר. הנכסים יכולים להיות תמונות, סרטונים בכמות גדולה או שידורי וידאו. מאגר מידע בדרך כלל מכיל הרבה נכסים מאותו סוג. אפשר לציין הערות שמשויכות לנכסים. אפשר גם לקבץ נכסים באוספים לצורך ניהול.

אוסף: משאב במאגר שמשמש כמאגר של הפניות לנכסים.

הערה: מטא נתונים או נתונים שסופקו על ידי המשתמש או נגזרו מ-Gemini Enterprise Agent Platform Vision ומשויכים לנכס. לנכס יכולות להיות כמה הערות.

  • דוגמה 1: ציון הערת טקסט בשם video-title לנכסי וידאו של קבוצת פריטים.
  • דוגמה 2: אחסון נתונים מנותחים ממודלים של ראייה ב-Gemini Enterprise Agent Platform כהערות. לדוגמה, אפשר לשמור תוויות של זיהוי אובייקטים בפרקי זמן שונים בסרטון כהערות.

סכימת נתונים: מגדירה איך לפרש הערה בתוך קורפוס. סכימת נתונים מגדירה סוג אחד של הערה ואת אסטרטגיית החיפוש שלה. כל הערה צריכה להיות משויכת לסכמת נתונים.

משאבי Search API

אינדקס (זמין לקטגוריות של תמונות וסרטונים בכמות גדולה): משאב ברמת הקורפוס שהוא ייצוג מנוהל של נכסים והערות שעברו ניתוח. אפשר לראות באינדקס קבוצת נתונים של וקטורי הטמעה והגבלות סמנטיות שמייצגים את המשמעות של תוכן המדיה. אפשר לפרוס אינדקסים בנקודות קצה של אינדקסים לחיפוש.

נקודת קצה של אינדקס (זמינה לתמונות ולסרטונים אנכיים בכמות גדולה): סביבה מנוהלת שמשמשת להצגת אינדקסים של מחסן Vision. נקודות קצה של אינדקס מספקות נקודת גישה אחת לשליחת בקשות חיפוש.

הגדרת החיפוש: מאחסן מאפיינים שונים שמשפיעים על התנהגויות החיפוש ועל תוצאות החיפוש.

  • מאפיין מאפיין (זמין לחיפוש אנכי של סרטוני סטרימינג): יוצר הגדרה להפעלת תוצאות חיפוש היסטוגרמיות שמבוססות על מאפיינים.
  • מאפיין קריטריונים לחיפוש (זמין לסרטוני סטרימינג ולסרטונים שמועלים בכמויות גדולות): יוצר מיפוי בין קריטריונים מותאמים אישית לחיפוש לבין מפתח אחד או יותר של סכימת נתונים.

חיפוש היפרונים: סוג ספציפי של הגדרת חיפוש שמאפשרת להתאים אישית את היכולת של שירות החיפוש לזהות היפרונים של מילים. לדוגמה, משתמשים יכולים לציין את המילה 'בעל חיים' כהיפרונים של המילים 'חתול' ו'כלב'. חיפוש של "animal" יחזיר גם תוצאות עם "cat" ו-"dog" בנתוני האינדקס.

שפות נתמכות

השפות הבאות נתמכות בחיפוש סמנטי ב-Batch Video Warehouse וב-Image Warehouse:

  • אנגלית
  • ספרדית
  • פורטוגזית
  • צרפתית
  • יפנית
  • סינית

אין הגבלות שפה ב-Streaming Warehouse.

המאמרים הבאים