使用者事件擷取新手指南

本頁提供擷取使用者事件的指南和一般最佳做法。如要開始使用,請參閱教學課程。

事前準備

教學課程

這些教學課程說明如何從各種來源匯入使用者事件。

從 Cloud Storage 匯入事件

本教學課程說明如何從 Cloud Storage 匯入使用者事件。


如要直接在 Cloud Shell 編輯器中按照逐步指南操作,請按一下「Guide me」(逐步引導):

逐步引導


從 BigQuery 匯入事件

本教學課程說明如何從 BigQuery 匯入使用者事件。


如要直接在 Cloud Shell 編輯器中按照逐步指南操作,請按一下「Guide me」(逐步引導):

逐步引導


內嵌匯入事件

本教學課程說明如何以內嵌方式匯入使用者事件資料。


如要直接在 Cloud Shell 編輯器中按照逐步指南操作,請按一下「Guide me」(逐步引導):

逐步引導


AI Commerce Search 的資料擷取管道涵蓋產品目錄和使用者事件資料。這項資料串流可做為模型訓練的基礎,並透過意見回饋機制持續評估模型。準確且完整的資料擷取作業是持續進行的程序,可確保基礎模型維持適應性,直接影響搜尋結果的品質和關聯性。

擷取使用者事件的一般最佳做法

設計搜尋解決方案時,請參考下列資料擷取最佳做法,盡可能提升效率和成效。

在 AI Commerce Search 中擷取使用者事件

與目錄擷取程序類似,AI Commerce Search 提供雙重機制來處理使用者事件資料。大量匯入和即時串流功能可彈性配合各種客戶後端架構。不過,目錄可以採用混合式做法,但使用者事件最好採用專屬的擷取策略。在實際應用中,即時串流是標準做法。

兩者在模型訓練、KPI 評估和收益最佳化方面,都能產生可比較的結果,但仍存在細微的取捨。舉例來說,大量匯入可能更適合處理大量歷來資料,而串流則能更快速回應使用者。

選擇哪種服務取決於零售環境需求,例如:

  • 將使用者事件納入模型訓練的延遲目標。
  • 產生的事件量。

在 AI Commerce Search 中擴大擷取使用者事件

主動規劃擴充情境,為流量暴增做好準備,並確保資料完整性。在週末特賣等高流量特殊活動期間,使用者活動可能會暴增 10 到 20 倍。因此,充足的配額和可擴充的擷取系統至關重要。

這類事件通常會導致流量突然暴增,而非逐漸增加。如果這些尖峰時段缺少事件,可能會阻礙模型訓練、降低搜尋成效,以及導致 KPI 評估結果失真。由於事件是追蹤 KPI 和一般疑難排解的基礎,因此偵錯問題可能相當困難。導入完善的警報機制,即可在資料品質下降時收到通知,這通常是缺少或錯誤的事件資料所致。

預先因應這些情況並採取行動,即使在極端負載條件下,您仍可維持使用者事件資料的可靠性和準確度。準確的資料是 AI Commerce Search 系統的基礎,可確保系統在流量高峰期間提供最佳化成效、準確的分析資料,以及以使用者為中心的體驗。

批次事件擷取的參考架構

批次事件擷取的參考架構

批次擷取需要可擴充的架構,才能有效將使用者事件擷取至 AI 輔助商務搜尋。這項架構由多項 Google Cloud 服務組成,包括 Pub/Sub、Dataflow、BigQuery、Workflows 和 Cloud Storage,可分階段控管擷取程序。

架構總覽

批次事件擷取架構採用多級式方法,確保使用者事件資料能可靠且準確地傳輸至 AI 購物搜尋。

主要元件包括:

  • Pub/Sub:做為使用者事件的初始進入點,提供可擴充且耐用的訊息系統。
  • Dataflow (串流事件):持續從 Pub/Sub 讀取原始使用者事件,並寫入 BigQuery 原始事件資料表,同時擷取任何失敗的事件以進行偵錯。
  • BigQuery:做為主要資料倉儲解決方案,儲存原始事件、轉換後的事件,以及與擷取程序相關的各種中繼資料。
  • 工作流程:每小時協調處理原始事件批次,確保資料完整性並簡化錯誤處理程序。
  • Cloud Storage:在處理期間為 Dataflow 提供暫時儲存空間,並用於封存失敗的事件記錄。
  • AI Commerce Search:使用者事件資料的最終目的地,可啟用進階搜尋和推薦功能。

逐步資料流程

以下是大量擷取事件的資料流程步驟。

  1. 事件串流和原始資料保存:

    • 使用者事件會從客戶來源系統發布至 Pub/Sub 主題。
    • Dataflow 串流管道 (串流事件) 會持續從 Pub/Sub 讀取事件。
    • 系統會將成功的原始事件寫入 BigQuery 原始事件資料表。
    • 系統會擷取並儲存在個別的 BigQuery 原始失敗資料表中,以供分析及疑難排解。
  2. 每小時批次處理和轉換:

    • 工作流程會觸發每小時排定的 Dataflow 管道 (Incr Batch Events)。
    • 這個管道會從 BigQuery 資料表讀取原始事件。
    • 系統會將事件轉換為 AI Commerce Search 要求的格式。
    • 轉換後的事件會寫入 BigQuery 彙整事件資料表。
    • BigQuery 精選失敗事件資料表會記錄所有轉換失敗事件。
  3. 資料驗證與準備:

    • 工作流程會執行 BigQuery 儲存程序,建立或更新檢視區塊 (Incr Update Event View),反映過去一小時內最新的轉換事件資料。
    • 工作流程接著會對這個檢視畫面執行驗證檢查,確保轉換後的事件數量落在預先定義的門檻內。
  4. 匯入 AI Commerce Search:

    • 如果驗證成功,Workflows 會叫用 AI Commerce Search 匯入事件 API,並將其指向包含轉換後事件的 BigQuery 檢視區塊。
    • AI Commerce Search 接著會匯入這些事件,以進行後續處理和建立索引。

批次事件擷取的其他注意事項

大量擷取事件時,還應考量下列事項:

  • 安全性:應實施適當的安全防護措施,例如存取控管和加密,保護機密的使用者事件資料。
  • 監控和記錄:應設定完善的監控和記錄功能,追蹤系統效能並主動找出潛在問題。
  • 成本最佳化:監控資源使用率,盡量節省成本,並確保 Google Cloud 服務能有效運用。

這個架構可做為基礎,將使用者事件擷取至 AI Commerce Search。運用各種 Google Cloud 服務,並採用資料處理和錯誤處理的最佳做法,協助機構建構可擴充且易於維護的解決方案,提供進階搜尋和推薦體驗。

後續步驟