Vision 倉儲簡介

Vision Warehouse 是一項 API,可讓開發人員將非結構化媒體內容 (串流影片、圖片和批次影片) 的儲存和 AI 輔助搜尋功能,整合至現有工具和應用程式。

Vision Warehouse 是 Gemini Enterprise Agent Platform Vision 的主要元件。這個資料庫可做為儲存存放區,並提供多種資料類型和用途的進階搜尋功能。具體情況如下:

  • 串流影片:您可以使用 Gemini Enterprise Agent Platform Vision 平台應用程式或 Vision Warehouse API 匯入即時影像串流和即時影片分析資料,並使用 Vision Warehouse API 或 Google Cloud 控制台搜尋圖片。
  • 圖片:您可以使用 Vision Warehouse API 匯入圖片和中繼資料、使用 Vision Warehouse API 分析圖片,以及使用 Vision Warehouse API 或 Google Cloud 主控台搜尋圖片。
  • 批次影片:您可以使用 Vision Warehouse API 匯入批次影片和中繼資料、使用 Vision Warehouse API 分析批次影片,以及使用 Vision Warehouse API 或 Google Cloud 控制台搜尋批次影片。

API 資源總覽

API 資源圖

Storage API 資源

語料庫:用於存放特定類型媒體素材資源的容器。您可以建立多個語料庫,整理不同類型的媒體資產。

資產:儲存在語料庫中的媒體物件。資產可以是圖片、批次影片或影片串流。 語料庫通常包含許多同類型的資產。您可以指定與資產相關聯的註解。您也可以將素材資源分組到收藏中進行管理。

集合:語料庫中的資源,可做為資產參照的容器。

註解:使用者提供的中繼資料,或與資產相關聯的 Gemini Enterprise Agent Platform Vision 衍生資料。一個資產可以有多個註解。

  • 範例 1:為批次影片資產指定名為「video-title」的文字註解。
  • 範例 2:將 Gemini Enterprise Agent Platform Vision 模型分析的資料儲存為註解。舉例來說,不同影片時間碼中的物件辨識標籤可以儲存為註解。

資料結構定義:定義如何解讀語料庫中的註解。資料架構會定義一種註解類型及其搜尋策略。每個註解都必須與資料結構定義建立關聯。

搜尋 API 資源

索引 (適用於圖片和批次影片垂直):這是語料庫層級的資源,可管理分析資產和註解的代表項目。索引可視為嵌入向量和語意限制的資料集,代表媒體內容的意義。索引可部署至索引端點以供搜尋。

索引端點 (適用於圖片和批次影片垂直領域):提供 Vision Warehouse 索引的代管環境。索引端點提供單一存取點,可傳送搜尋要求。

搜尋設定:儲存會影響搜尋行為和搜尋結果的各種屬性。

  • Facet 屬性 (適用於串流影片垂直):建立設定,啟用以 Facet 為準的直方圖搜尋結果。
  • 搜尋條件屬性 (適用於串流影片和批次影片垂直領域):在自訂搜尋條件與一或多個資料結構定義鍵之間建立對應關係。

搜尋上位詞:這是一種特定類型的搜尋設定,可讓您自訂搜尋服務辨識字詞上位詞的能力。舉例來說,使用者可以將「動物」指定為「貓」和「狗」的上位詞。搜尋「animal」時,系統也會傳回索引資料中含有「cat」和「dog」的結果。

支援的語言

Batch Video Warehouse 和 Image Warehouse 支援下列語系的語意搜尋:

  • 英文
  • 西班牙文
  • 葡萄牙文
  • 法文
  • 日文
  • 中文

串流倉庫沒有語言限制。

後續步驟