Vision Warehouse – Übersicht

Vision Warehouse ist eine API, mit der Entwickler die Speicherung und KI-basierte Suche nach unstrukturierten Medieninhalten (Streaming-Videos, Bilder und Batch-Videos) in vorhandene Tools und Anwendungen einbinden können.

Vision Warehouse ist ein wichtiger Bestandteil von Gemini Enterprise Agent Platform Vision. Sie dient als Speicher-Repository und bietet erweiterte Suchfunktionen für mehrere Datentypen und Anwendungsfälle. Zum Beispiel:

  • Streaming von Videos: Sie können Live-Videostreams und Live-Videoanalysedaten mit der Vision-Plattformanwendung der Gemini Enterprise Agent Platform oder der Vision Warehouse API importieren und mit der Vision Warehouse API oder der Google Cloud Konsole nach Bildern suchen.
  • Bild: Sie können Bilder und Metadaten mit der Vision Warehouse API importieren, Bilder mit der Vision Warehouse API analysieren und mit der Vision Warehouse API oder der Google Cloud Console nach Bildern suchen.
  • Batch-Video: Sie können Batch-Videos und Metadaten mit der Vision Warehouse API importieren, Batch-Videos mit der Vision Warehouse API analysieren und mit der Vision Warehouse API oder der Google Cloud Konsole nach Batch-Videos suchen.

Übersicht über API-Ressourcen

Diagramm der API-Ressourcen

Storage API-Ressourcen

Corpus: Ein Container, der Medien-Assets eines bestimmten Typs enthält. Sie können mehrere Korpora erstellen, um verschiedene Arten von Media-Assets zu organisieren.

Asset: Ein Media-Objekt, das in einem Korpus gespeichert ist. Assets können Bilder, Batch-Videos oder Videostreams sein. Ein Korpus enthält in der Regel viele Assets desselben Typs. Sie können Anmerkungen für Assets angeben. Assets können auch in Sammlungen gruppiert werden, um sie besser zu verwalten.

Sammlung: Eine Ressource in einem Korpus, die als Container für Verweise auf Assets dient.

Annotation: Von Nutzern bereitgestellte Metadaten oder Daten, die aus Gemini Enterprise Agent Platform Vision abgeleitet und einem Asset zugeordnet sind. Ein Asset kann mehrere Anmerkungen haben.

  • Beispiel 1: Eine Textanmerkung mit dem Namen „video-title“ für Batch-Video-Assets angeben.
  • Beispiel 2: Analysierte Daten aus Vision-Modellen der Gemini Enterprise Agent Platform als Annotationen speichern. Beispielsweise können Labels zur Objekterkennung in verschiedenen Videozeiträumen als Anmerkungen gespeichert werden.

Datenschema: Definiert, wie eine Annotation in einem Korpus interpretiert wird. Ein Datenschema definiert einen Annotationstyp und seine Suchstrategie. Jede Anmerkung muss mit einem Datenschema verknüpft sein.

Search API-Ressourcen

Index (für Bild- und Batch-Video-Vertikaler verfügbar): Eine Ressource auf Korpus-Ebene, die eine verwaltete Darstellung von analysierten Assets und Anmerkungen ist. Ein Index kann als Dataset von Einbettungsvektoren und semantischen Einschränkungen betrachtet werden, das die Bedeutung der Media-Inhalte repräsentiert. Indexe können für die Suche in Indexendpunkten bereitgestellt werden.

Indexendpunkt (für Bild- und Batch-Video-Branchen verfügbar): Eine verwaltete Umgebung, in der Vision Warehouse-Indizes bereitgestellt werden. Indexendpunkte bieten einen zentralen Zugriffspunkt zum Senden von Suchanfragen.

Suchkonfiguration: Hier werden verschiedene Eigenschaften gespeichert, die sich auf das Suchverhalten und die Suchergebnisse auswirken.

  • Attribut-Property (für die Branche „Streamingvideo“ verfügbar): Erstellt eine Konfiguration, um attributbasierte Histogramm-Suchergebnisse zu ermöglichen.
  • Property für Suchkriterien (verfügbar für Streaming-Video- und Batch-Video-Branchen): Erstellt eine Zuordnung zwischen einem benutzerdefinierten Suchkriterium und einem oder mehreren Datenschemaschlüsseln.

Hypernym-Suche: Eine spezielle Art von Suchkonfiguration, mit der Sie die Fähigkeit des Suchdienstes anpassen können, Hypernyme von Wörtern zu erkennen. Nutzer können beispielsweise „Tier“ als Hypernym für „Katze“ und „Hund“ angeben. Wenn Sie nach „Tier“ suchen, werden auch Ergebnisse mit „Katze“ und „Hund“ in den Indexdaten zurückgegeben.

Unterstützte Sprachen

Batch Video Warehouse und Image Warehouse unterstützen die folgenden Sprachen für die semantische Suche:

  • Englisch
  • Spanisch
  • Portugiesisch
  • Französisch
  • Japanisch
  • Chinesisch

Für Streaming Warehouse gelten keine Spracheinschränkungen.

Nächste Schritte