Gemini Enterprise Agent Platform 的 Feature Store 是代管的雲端原生特徵儲存庫服務,也是 Gemini Enterprise Agent Platform 的重要組成部分。這項服務可讓您在 BigQuery 資料表或檢視表中管理特徵資料,簡化機器學習特徵管理和線上提供程序。接著,您就能直接從 BigQuery 資料來源線上提供特徵。
Agent Platform 特徵儲存庫會佈建資源,讓您指定特徵資料來源,設定線上提供機制。接著,它會做為中繼資料層,與 BigQuery 資料來源互動,並直接從 BigQuery 提供最新的特徵值,以低延遲進行線上預測。
在 Agent Platform 特徵儲存庫中,包含特徵資料的 BigQuery 資料表或檢視表會共同形成離線儲存庫。您可以在離線儲存庫中維護特徵值,包括歷來特徵資料。由於所有特徵資料都保存在 BigQuery,Agent Platform 特徵儲存庫不必在 Gemini Enterprise Agent Platform 內佈建獨立的離線儲存庫。此外,如要使用離線儲存庫中的資料訓練機器學習模型,您可以使用 BigQuery 中的 API 和功能匯出或擷取資料。
使用 Agent Platform 特徵儲存庫設定及啟動線上提供的流程,大致如下:
在 BigQuery 準備資料來源。
選用步驟:建立特徵群組與特徵來註冊資料來源。
設定網路商店和特徵檢視表資源,將特徵資料來源連結至線上提供叢集。
透過特徵檢視表在線上提供最新特徵值。
Agent Platform 特徵儲存庫資料模型和資源
本節說明與 Agent Platform 特徵儲存庫下列層面相關的資料模型和資源:
在 BigQuery 準備資料來源
在線上提供期間,Agent Platform 特徵儲存庫會使用 BigQuery 資料來源的特徵資料。設定特徵註冊庫或線上提供資源前,您必須將特徵資料儲存在一或多個 BigQuery 資料表或檢視表中。
在 BigQuery 資料表或檢視表中,每個資料欄都代表一項特徵。每列都包含與專屬 ID 對應的特徵值。如要進一步瞭解如何在 BigQuery 準備特徵資料,請參閱「準備資料來源」。
舉例來說,在圖 1 中,BigQuery 資料表包含下列資料欄:
f1和f2:特徵欄。entity_id:ID 欄,包含用於識別各項特徵記錄的專屬 ID。feature_timestamp:時間戳記欄。
由於您是在 BigQuery (而非 Gemini Enterprise Agent Platform) 中準備資料來源,因此在這個階段不需要建立任何 Gemini Enterprise Agent Platform 資源。
設定特徵註冊庫
在 BigQuery 準備好資料來源後,您可以在特徵登錄檔中註冊這些資料來源,包括特定特徵欄。
您可以選擇是否要註冊功能。即使未將 BigQuery 資料來源新增至特徵註冊庫,您仍可線上提供特徵。不過,在下列情況下,註冊功能會帶來好處:
您的資料包含多個相同實體 ID 的例項,因此您必須以時間序列格式準備資料,並加入時間戳記欄。註冊特徵時,Agent Platform 特徵儲存庫會查詢時間戳記,並只提供最新的特徵值。
您想從資料來源註冊特定特徵欄。
您想匯總多個資料來源的特定資料欄,定義特徵檢視表執行個體。
您想監控特徵統計資料,並偵測特徵偏移。
特徵登錄檔中有兩種 Agent Platform 特徵儲存庫資源:
特徵資料的特徵註冊庫資源
如要在 Feature Registry 註冊特徵資料,您必須建立下列 Agent Platform 特徵儲存庫資源:
特徵群組 (
FeatureGroup):FeatureGroup資源會與特定 BigQuery 來源資料表或檢視表建立關聯。代表特徵欄的邏輯群組,由Feature資源表示。特徵群組也包含一或多個實體 ID 欄,用於識別特徵記錄。如果特徵資料採用時間序列格式,特徵群組也必須包含時間戳記欄。如要瞭解如何建立特徵群組,請參閱「建立特徵群組」。特徵 (
Feature):Feature資源代表特定資料欄,其中包含與其父項FeatureGroup資源相關聯的特徵資料來源中的特徵值。如要瞭解如何在特徵群組中建立特徵,請參閱「建立特徵」。
舉例來說,圖 2 顯示一個特徵群組,其中包含特徵欄 f1 和 f2,來源是與該特徵群組相關聯的 BigQuery 資料表。BigQuery 資料來源包含四個特徵資料欄,其中兩個資料欄會匯總成特徵群組。特徵群組也包含實體 ID 欄和特徵時間戳記欄。
FeatureGroup 範例,其中包含兩個來自 BigQuery 資料來源的 Feature 欄。用於特徵監控的特徵註冊庫資源
特徵監控資源可讓您監控使用 FeatureGroup 和 Feature 資源註冊的特徵資料。您可以建立下列與特徵監控相關的資源:
特徵監控 (
FeatureMonitor):FeatureMonitor資源會與FeatureGroup資源,以及該特徵群組中的一或多個特徵建立關聯。指定監控排程。您可以建立多個特徵監控器資源,為特徵群組中的同一組特徵設定不同的監控排程。舉例來說,如果特徵f1和f2每小時更新一次,但特徵f3和f4每天更新一次,您可以建立兩個特徵監控資源,有效監控這些特徵:特徵監控器
fm1,每小時對特徵f1和f2執行監控工作。特徵監控
fm2,每天對特徵f3和f4執行監控工作。
特徵監控工作 (
FeatureMonitorJob):FeatureMonitorJob資源包含執行特徵監控工作時擷取的特徵統計資料和資訊。此外,這項資訊也可能包含在特徵資料中偵測到的異常狀況,例如特徵偏移。
如要進一步瞭解如何建立特徵監控資源,請參閱「監控特徵是否有異常狀況」。
線上提供設定
如要提供線上預測所需的特徵,您必須定義及設定至少一個線上提供叢集,並將其與特徵資料來源或 Feature Registry 資源建立關聯。在 Agent Platform 特徵儲存庫中,線上提供叢集稱為「網路商店」執行個體。一個網路商店執行個體可以包含多個特徵檢視執行個體,每個特徵檢視都會與一個特徵資料來源建立關聯。
線上提供資源
如要設定線上提供功能,您必須建立下列 Agent Platform 特徵儲存庫資源:
網路商店 (
FeatureOnlineStore):FeatureOnlineStore資源代表線上提供叢集執行個體,並包含線上提供設定,例如線上提供節點數量。網路商店執行個體不會指定特徵資料的來源,但包含FeatureView資源,可指定 BigQuery 或特徵註冊庫中的特徵資料來源。如要瞭解如何建立網路商店執行個體,請參閱「建立網路商店執行個體」。特徵檢視 (
FeatureView):FeatureView資源是網路商店執行個體中的特徵邏輯集合。建立特徵檢視時,您可以透過下列任一方式指定特徵資料來源的位置:從特徵登錄檔中,連結一或多個特徵群組和特徵。特徵群組會指定 BigQuery 資料來源的位置。特徵群組中的特徵會指向該資料來源中的特定特徵欄。
或者,您也可以連結 BigQuery 來源資料表或檢視表。
如要瞭解如何在網路商店中建立特徵檢視執行個體,請參閱「建立特徵檢視」。
舉例來說,圖 3 顯示的特徵檢視表包含特徵欄 f2 和 f4,這些特徵欄來自與 BigQuery 資料表相關聯的兩個獨立特徵群組。
FeatureView 範例,其中包含兩個不同特徵群組的特徵。線上提供
Agent Platform 特徵儲存庫提供下列類型的線上提供服務,用於即時線上預測:
Bigtable 線上提供適用於提供大量資料 (數 TB 的資料)。Bigtable 線上提供功能不支援嵌入。如果您需要提供大量經常更新的資料,且不需要提供嵌入,請使用 Bigtable 線上提供。
最佳化線上提供 (已淘汰) 可讓您以超低延遲線上提供特徵。最佳化線上提供功能也支援嵌入管理。
如要使用最佳化線上提供功能,您必須設定公開端點或專屬 Private Service Connect 端點。
如要瞭解如何在設定特徵後,在 Agent Platform 特徵儲存庫設定線上提供功能,請參閱「線上提供類型」。
批次預測或模型訓練的離線提供
您不必將特徵資料從 BigQuery 複製或匯入 Gemini Enterprise Agent Platform 的獨立離線儲存庫,因此可以使用 BigQuery 的資料管理和匯出功能,執行下列操作:
查詢特徵資料,包括特定時間點的歷來資料。
如要進一步瞭解如何使用 BigQuery 進行機器學習,請參閱「BigQuery ML 簡介」。
Agent Platform 特徵儲存庫字詞
特徵工程相關詞彙
特徵工程
- 特徵工程是指將原始機器學習 (ML) 資料轉換為特徵,以便用於訓練機器學習模型或進行推論。
功能
- 在機器學習 (ML) 中,特徵是指執行個體或實體的特性或屬性,用於訓練機器學習模型或進行推論。
特徵值
- 特徵值對應至執行個體或實體特徵 (屬性) 的實際可測量值。不重複實體的特徵值集合,代表與實體對應的特徵記錄。
特徵時間戳記
- 特徵時間戳記代表實體特定特徵記錄中的特徵值組合生成時間。
功能記錄
- 特徵記錄是所有特徵值的匯總,用於描述特定時間點不重複實體的屬性。
Feature Registry 相關詞彙
特徵登錄
- 特徵註冊庫是中央介面,用於記錄要提供線上推論的特徵資料來源。詳情請參閱「設定 Feature Registry」。
特徵群組
- 特徵群組是一組特徵註冊庫資源,對應的 BigQuery 來源資料表或檢視表包含特徵資料。特徵檢視可能包含特徵,可視為資料來源中特徵資料欄的邏輯群組。
特徵供應相關詞彙
特徵供應
- 特徵供應是指匯出或擷取特徵值,用於訓練或推論。Vertex AI 提供兩種特徵供應方式:線上提供和離線供應。線上提供功能會擷取特徵資料來源子集的最新特徵值,用於線上推論。離線或批次資料擷取會匯出大量特徵資料 (包括歷來資料),用於離線處理,例如機器學習模型訓練。
實體商店
- 離線儲存庫是儲存近期和歷來特徵資料的儲存空間,通常用於訓練機器學習模型。離線儲存庫也包含最新的特徵值,可用於線上推論。
網路商店
- 在特徵管理中,線上儲存庫是儲存最新特徵值的儲存空間,用於線上推論。
特徵檢視
- 特徵檢視畫面是指從 BigQuery 資料來源具體化至網路商店執行個體的特徵邏輯集合。特徵檢視表會儲存並定期重新整理客戶的特徵資料,這些資料會定期從 BigQuery 來源重新整理。特徵檢視會直接或透過與特徵註冊庫資源的關聯,與特徵資料儲存庫建立關聯。
位置限制
所有 Agent Platform 特徵儲存庫資源都必須與 BigQuery 資料來源位於相同區域或多區域位置。舉例來說,如果特徵資料來源位於 us-central1,則只能在 us-central1 或 US 多區域位置建立 FeatureOnlineStore 執行個體。
功能標籤
您可以在建立資源期間或之後,為資源新增標籤。如要進一步瞭解如何為現有的 Agent Platform 特徵儲存庫資源新增標籤,請參閱「更新標籤」。
資源版本中繼資料
Agent Platform 特徵儲存庫僅支援 0 版本的特徵。
特徵監控
Agent Platform 特徵儲存庫可讓您設定特徵監控功能,擷取特徵統計資料,並偵測特徵資料中的異常狀況。您可以設定監控排程,定期執行監控工作,也可以手動執行監控工作。如要進一步瞭解如何設定特徵監控及執行特徵監控工作,請參閱「監控特徵是否異常」。
嵌入管理和向量檢索
Agent Platform 特徵儲存庫中的最佳化線上提供功能支援嵌入管理。您可以將嵌入儲存在 BigQuery 中,做為一般 double 陣列。您可以使用 Agent Platform 特徵儲存庫的嵌入管理功能,執行向量相似度搜尋,擷取與指定實體或嵌入值近似的最鄰近實體。
如要在 Agent Platform 特徵儲存庫中使用嵌入管理功能,請完成下列步驟:
設定 BigQuery 資料來源,加入
embedding資料欄,以支援嵌入。視需要加入篩選和群聚資料欄。詳情請參閱「資料來源準備指南」。建立特徵檢視表時,請指定
embedding資料欄。如要進一步瞭解如何建立支援嵌入的特徵檢視,請參閱「設定特徵檢視的向量檢索」。
如要瞭解如何在 Agent Platform 特徵儲存庫中執行向量相似度搜尋,請參閱「對實體執行向量搜尋」。
資料保留
Agent Platform 特徵儲存庫會根據資料來源中與特徵值相關聯的時間戳記,保留專屬 ID 的最新特徵值。網路商店沒有資料保留期限。
由於離線儲存庫是由 BigQuery 佈建,因此 BigQuery 的資料保留限制或配額可能適用於特徵資料來源,包括歷來特徵值。進一步瞭解 BigQuery 的配額和限制。
配額與限制
Agent Platform 特徵儲存庫會強制執行配額和限制,協助您設定用量限制來管理資源,並防止用量突然暴增,保障Google Cloud 使用者社群的權益。如要有效率地使用 Agent Platform 特徵儲存庫資源,且不超出這些限制,請參閱 Agent Platform 特徵儲存庫配額和限制。
定價
如要瞭解 Agent Platform 特徵儲存庫的資源用量定價,請參閱「Agent Platform 特徵儲存庫定價」。
Notebook 教學課程
請參考下列範例和教學課程,進一步瞭解 Gemini Enterprise Agent Platform 的特徵儲存庫。
使用 Vertex AI Feature Store Bigtable 線上提供功能,線上提供及擷取 BigQuery 資料
|
|
在本教學課程中,您將瞭解如何在 Vertex AI 特徵儲存庫使用 Bigtable 線上提供功能,在 BigQuery 線上提供及擷取特徵值。 |
使用 Vertex AI Feature Store,線上提供特徵並擷取 BigQuery 資料的向量
|
|
在本教學課程中,您將瞭解如何使用 Vertex AI 特徵儲存庫,在 BigQuery 中線上提供及向量檢索特徵值。 |
Vertex AI 特徵儲存庫特徵檢視服務代理
|
|
在本教學課程中,您將瞭解如何啟用特徵檢視服務代理,並向各個特徵檢視授予特定來源資料的檢視權限。 |
Vertex AI 特徵儲存庫型 LLM 基準建立教學課程
|
|
在本教學課程中,您將瞭解如何將使用者提供的資料分塊,然後使用具備嵌入生成功能的大型語言模型 (LLM),為每個分塊生成嵌入向量。接著,您可以將產生的嵌入向量資料集載入 Vertex AI 特徵儲存庫,快速擷取特徵並有效率地線上提供。 |
使用 Vertex AI 特徵儲存庫和 BigQuery 建構生成式 AI RAG 應用程式
|
|
在本教學課程中,您將瞭解如何使用 BigQuery 向量搜尋和 Vertex AI 特徵儲存庫,為生成式 AI 應用程式建構低延遲向量搜尋系統。 |
在 Vertex AI 特徵儲存庫 設定 IAM 政策
|
|
在本教學課程中,您將瞭解如何設定 IAM 政策,控管 Vertex AI Feature Store 內儲存的資源和資料存取權。 |
後續步驟
瞭解如何在 BigQuery 中設定資料。
瞭解如何建立網路商店執行個體。