object enrichments

您可以使用物件擴充功能自動產生結構化中繼資料，不必建構自訂機器學習管道。物件擴充功能會將 Google 預先訓練的機器學習模型直接套用至儲存的物件，協助您大規模搜尋、管理及控管非結構化資料。

如要開始為物件產生中繼資料，請參閱「設定物件資料充實」。

運作方式

如要使用物件擴充功能，請使用系統的下列部分：

  • 功能設定 (FeatureConfig)：建立功能設定，指定 Cloud Storage 監控的 bucket 或專案。
  • 機器學習模型：在設定中，您可以選擇要套用的模型，例如偵測物件、標記圖片、分析臉部或分類 PDF 文件的模型。
  • 物件擴充功能 (中繼資料)：Cloud Storage 會非同步掃描物件，並使用所選模型評估符合資格的物件。Cloud Storage 接著會將產生的中繼資料直接附加至物件，做為物件內容。

Cloud Storage 將擴充中繼資料附加至物件後，即可使用中繼資料。您可以檢查個別物件的 object enrichments，也可以使用 儲存空間分析資料集，在 BigQuery 中使用 SQL 分析數百萬個物件的中繼資料。

下圖顯示 Cloud Storage 如何使用 object enrichments，從非結構化資料中擷取情境資訊，並儲存為物件情境，供下游 AI 和數據分析工作流程使用：

圖 1. 從原始資料到物件背景資訊和 AI 代理的物件擴充工作流程。
圖 1：object enrichments 如何擷取中繼資料並儲存為物件脈絡。

支援的模型

建立功能設定時，請選取最適合資料和分析目標的機器學習模型。Cloud Storage 會使用您選擇的模型評估符合條件的物件，並在 contexts.custom 下產生結構化中繼資料。

支援的模型表格會列出各個模型、偵測內容和輸出資料範例。如需詳細的結構定義定義和情境索引鍵，請參閱「支援的模型和結構定義」。

模型 說明 輸出資料範例
物件偵測 偵測圖片中的多個物件，並提供物件位置和矩形邊界。 產品、動物、人物
圖片標籤 偵測及擷取圖片中實體的相關資訊，涵蓋多種廣泛類別，例如物件、位置和活動。 風景、城市、夜晚
臉部偵測 偵測圖片中的臉孔，包括定界多邊形、臉部特徵 (眼睛、鼻子、嘴巴)、方向角度和表情可能性。 臉部數量、滾動和傾斜角度
煽情露骨內容偵測 評估圖片是否含有敏感或不當內容，包括成人或暴力內容。 成人和暴力內容可能性評分
PDF 分類 根據內容將 PDF 文件分類為標準業務和產業類別。 財務、稅金、月結單 (類別和分數)

用途

您可以使用物件擴充功能簡化非結構化資料管理，並為下列下游分析和 AI 工作流程準備物件：

  • 整理及分類未整理的物件：自動分類 PDF 文件 (例如應付憑據、銀行對帳單和稅務表單) 和圖片。您可以使用這些分類，在 bucket 中建立可搜尋的 Data Catalog，不需編寫自訂程式碼。
  • 建立 AI 代理的基準並改善搜尋功能：將雜亂無章的文件存放區轉換為結構化知識庫。您可以使用文件類別和圖片標籤，在檢索增強生成 (RAG) 期間改善檢索效果，並為生成式 AI 應用程式建立基準。
  • 為生成式 AI 抽樣及準備資料：區分文件類型，先進行分層抽樣，再將內容轉送至大型語言模型 (LLM) 或人工審查。
  • 精選機器學習訓練資料集：依分類或視覺標籤篩選及區隔圖片和文件，組合特定領域的訓練資料集，用於微調模型。
  • 掃描敏感或露骨內容：自動檢查上傳的圖片是否含有不當內容，協助您落實內容審核和安全政策。
  • 強化多模態提示：在提示 Gemini 等多模態模型時，傳遞結構化中繼資料 (例如邊界框和文件類別) 做為脈絡。
  • 簡化資料架構：直接在 Cloud Storage 中產生中繼資料，即可免除自訂擷取管道和運算基礎架構。

查詢及分析中繼資料

Cloud Storage 會將 object enrichments 直接附加至物件，做為物件背景資訊。視規模和工作流程而定，您可以透過下列方式存取及分析這項中繼資料：

  • 檢查個別物件：使用 Google Cloud 控制台或 Cloud Storage API，檢查特定物件的擴充功能。如需操作說明，請參閱「管理物件擴充功能」。
  • 使用 SQL 大規模分析：使用 儲存空間分析資料集，將數百萬或數十億個物件的中繼資料直接匯出至 BigQuery。儲存空間分析 匯出中繼資料後，您可以使用標準 SQL 查詢 object_contexts_catalog_view 檢視表。例如，您可以搜尋標籤、依類別篩選，或找出具有高信賴分數的物件。

如要開始使用 SQL 查詢和範例 recipe，請參閱「在 BigQuery 分析 object enrichments」。

注意事項與限制

設定物件擴充功能前，請先考量下列運作事項：

處理位置

物件擴充功能會在三個地理位置處理資料：us、eu 和 asia。選取處理位置時，請注意下列事項：

  • 法規遵循：確認所選處理位置符合法規和資料主權要求。
  • 效能：選取最靠近 bucket 儲存區域的處理位置。
  • 費用：為避免重複收費，請為每個 bucket 和模型設定一個處理位置。如果為同一個值區和模型設定多個位置，Cloud Storage 會處理每個位置的物件，並針對每次執行作業向您收費。

處理程序和效能

請查看下列有關內容類型、物件大小和處理時間軸的限制：

  • 非同步處理：Cloud Storage 會以非同步方式處理物件。

  • 物件大小限制：物件 (圖片和 PDF) 大小不得超過 20 MiB。

  • 支援的內容類型：Cloud Storage 會根據物件上設定的 Content-Type 中繼資料欄位，判斷是否要評估該物件。如果物件的 Content-Type 無效或遺失，即使基礎資料是有效的圖片或 PDF，Cloud Storage 也不會處理該物件。為確保 Cloud Storage 處理物件，請將 Content-Type 中繼資料更新為下列其中一種支援類型：

    • 圖片：BMP、GIF、ICO、JPEG、PNG、TIFF 和 WEBP。
    • 文件：PDF (application/pdf)。

不支援的功能

物件擴充功能與下列 bucket 類型和作業不相容：

  • bucket 遷移：object enrichments 與 bucket 遷移不相容。請先從功能設定中移除 bucket，再重新定位。
  • 不支援的值區類型：您無法在快速值區或已啟用階層命名空間的值區上啟用物件擴充功能。

設定與範圍管理

在功能設定中定義及維護目標 bucket 時，須遵守下列規定：

  • Bucket 範圍：在功能設定中指定確切的 bucket 名稱。Cloud Storage 不支援規則運算式或萬用字元模式。
  • Bucket 生命週期：Cloud Storage 不會自動將新建立、重新建立或重新放置的 bucket 新增至現有設定。您必須更新特徵設定，納入這些值區。

成本和安全性

請參閱下列有關加密金鑰和資料存取費用的作業詳細資料：

  • 客戶提供的金鑰 (CSEK)：物件擴充功能不支援以客戶提供的加密金鑰加密的物件。
  • 儲存空間存取權和 Autoclass：為生成中繼資料，object enrichments 會讀取物件資料。這些讀取作業會產生標準資料存取費用。此外，如果 bucket 已啟用自動調整級別功能，這些讀取作業會觸發儲存空間級別轉換。

定價

使用 object enrichments 會產生模型推論、中繼資料儲存、資料存取作業和網路費用。詳情請參閱「定價」。

監控與疑難排解

如要追蹤中繼資料生成進度，並解決設定物件擴充功能時發生的問題，請使用下列資源：

後續步驟