Panoramica di Vision Warehouse

Vision Warehouse è un'API che consente agli sviluppatori di integrare l'archiviazione e la ricerca basata sull'AI di contenuti multimediali non strutturati (video in streaming, immagini e video batch) in strumenti e applicazioni esistenti.

Vision Warehouse è un componente principale di Gemini Enterprise Agent Platform Vision. Funge da repository di archiviazione e fornisce funzionalità di ricerca avanzate per più tipi di dati e casi d'uso. In particolare:

  • Video in streaming: puoi importare stream video in diretta e dati di analisi video in diretta utilizzando l'applicazione della piattaforma Gemini Enterprise Agent Platform Vision o l'API Vision Warehouse e cercare immagini utilizzando l'API Vision Warehouse o Google Cloud la console.
  • Immagine: puoi importare immagini e metadati utilizzando l'API Vision Warehouse, analizzare le immagini utilizzando l' API Vision Warehouse e cercare immagini utilizzando l'API Vision Warehouse o la console Google Cloud .
  • Video batch: puoi importare video batch e metadati utilizzando l'API Vision Warehouse, analizzare i video batch utilizzando l'API Vision Warehouse e cercare video batch utilizzando l'API Vision Warehouse o la Google Cloud console.

Panoramica delle risorse API

Diagramma delle risorse API

Risorse API Storage

Corpus: un container che contiene asset multimediali di un tipo specifico. Puoi creare più corpus per organizzare diversi tipi di asset multimediali.

Asset: un oggetto multimediale archiviato in un corpus. Gli asset possono essere immagini, video batch o stream video. Un corpus in genere contiene molti asset dello stesso tipo. Puoi specificare le annotazioni associate agli asset. Gli asset possono anche essere raggruppati in raccolte per la gestione.

Raccolta: una risorsa all'interno di un corpus che funge da container di riferimenti agli asset.

Annotazione: metadati forniti dall'utente o dati derivati da Gemini Enterprise Agent Platform Vision associati a un asset. Un asset può avere più annotazioni.

  • Esempio 1: specifica un'annotazione di testo denominata "video-title" per gli asset video batch.
  • Esempio 2: archivia i dati analizzati dai modelli Gemini Enterprise Agent Platform Vision come annotazioni. Ad esempio, le etichette di riconoscimento degli oggetti in diversi intervalli di tempo dei video possono essere archiviate come annotazioni.

Schema dei dati: definisce come viene interpretata un'annotazione all'interno di un corpus. Uno schema dei dati definisce un tipo di annotazione e la relativa strategia di ricerca. Ogni annotazione deve essere associata a uno schema dei dati.

Risorse API di ricerca

Indice (disponibile per i settori verticali di immagini e video batch): una risorsa a livello di corpus che è una rappresentazione gestita di asset e annotazioni analizzati. Un indice può essere considerato un set di dati di vettori di incorporamento e restrizioni semantiche che rappresenta il significato dei contenuti multimediali. Gli indici possono essere implementati negli endpoint indice per la ricerca.

Endpoint indice (disponibile per i settori verticali di immagini e video batch): un ambiente gestito che pubblica gli indici di Vision Warehouse. Gli endpoint indice forniscono un unico punto di accesso per l'invio delle richieste di ricerca.

Configurazione di ricerca: archivia varie proprietà che influiscono sui comportamenti di ricerca e sui risultati di ricerca.

  • Proprietà dei facet (disponibile per il settore verticale dei video in streaming): crea una configurazione per attivare i risultati di ricerca dell'istogramma basati sui facet.
  • Proprietà dei criteri di ricerca (disponibile per i settori verticali di video in streaming e video batch): crea un mapping tra un criterio di ricerca personalizzato e una o più chiavi dello schema dei dati.

Iperonimo di ricerca: un tipo specifico di configurazione di ricerca che consente di personalizzare la capacità del servizio di ricerca di riconoscere gli iperonimi delle parole. Ad esempio, gli utenti possono specificare "animale" come iperonimo di "gatto" e "cane". La ricerca di "animale" restituirà anche risultati con "gatto" e "cane" nei dati dell'indice.

Lingue supportate

Batch Video Warehouse e Image Warehouse supportano le seguenti lingue per la ricerca semantica:

  • Inglese
  • Spagnolo
  • Portoghese
  • Francese
  • Giapponese
  • Cinese

Streaming Warehouse non ha restrizioni linguistiche.

Passaggi successivi